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如 今 , 我 们 要 面 对 和 使 用 的 数据 正在 变 得 越 来 越 庞大 和 复杂 。 如 果 说 数据 是 新 的 石油 。 
那么 数据 库 就 是 油田 、 炼 油 广 、 钻 井 和 油泵 。 作 为 一 名 现代 的 软件 开发 者 ， 我 们 需要 了 解 
数据 管理 的 新 领域 ， 既 包括 RDBMS， 也 包括 NoSQL 。 


本 书 遵循 《七 周 七 语言 》 的 写作 风格 和 体例 ， 带 领 你 学 习 和 了 解 当 令 最 热门 的 开源 数 
据 库 。 在 简单 的 介绍 之 后 ， 本 书 分 章 介 绍 了 7 种 数据 库 。 这 些 数据 库 分 别 属 于 $ 种 不 同 的 
数据 库 风格 , 但 每 种 数据 库 都 有 自己 保存 数据 和 看 待 世界 的 方式 。 它 们 依次 是 PostgreSQL、 
Riak、Apache HBase、MongoDB、Apache CouchDB、Neo4J 和 Redis。 本 书 将 深入 每 一 种 
数据 库 ， 介 绍 它们 的 优势 和 不 足 ， 以 及 如 何 选取 一 种 最 符合 你 的 应 用 需求 的 数据 库 。 

本 书 适 合 数 据 库 染 构 师 、 数 据 库 管理 员 ， 以 及 想 要 了 解 和 学 习 各 种 NoSQL 数据 库 技 
术 的 程序 员 阅 读 。 本 书 将 帮助 读者 了 解 、 选 择 和 应 用 这 些 数据 库 ， 从 而 更 好 地 发 挥 日 益 增 
长 的 大 数据 的 能 
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在 科罗拉多 州 布雷 上 表 里 
眼 望 去 ， 滑 雪 





人 第; 





(Breckenridge) 的 滑雪 季 
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滑雪 道 的 你 








我 们 在 心里 发 问 ， 新 雪 在 哪里 呢 ? 没有 新 雪 ， 滑 雪 的 
斯 汀 的 数据 库 开 发 实验 室 工作 的 雇员 ， 我 的 感觉 


1994 年 ， 


被 精心 地 修整 过 ， 而 山上 的 植被 和 覆盖 的 雪 
本 验 就 不 那么 美妙 了 。 
































作为 IBM 在 奥 
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年 之 后 ， 我 想 面向 对 象 数据 库 真 的 有 机 会 深入 人 心 。 但 是 ， 接 下 来 的 10 年 和 之 前 一 样 
的 关系 模型 。 我 泪 形 地 关注 着 Oracle、IBM 和 其 他 以 MySQL 为 首 的 
展 着 的 枝叶 ， 完 全 挡住 了 阳光 ， 妨 和 碍 了 肥沃 的 土壤 上 正在 萌芽 的 其 他 


现 了 更 多 同样 
] 强 劲 人 





决 方案 ， 它 个 
解决 方案 。 
随 着 时 1 
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当时 我 刚 在 奥 斯 洒 











的 德 殉 萨 斯 大 学 学 习 了 面向 对 象 数据 库 ， 



























































里 ， 登 上 Beaver 雪 道 运行 超级 
层 却 依然 如 | 
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日 。 








非常 类 似 。 


因为 在 关系 数据 库 主 字 了 10 
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的 推移 ， 


























网 的 应 用 ， 但 








关系 层 的 代码 同样 张 开 无 情 的 铁 幕 ， 几 十 年 如 一 日 

















们 期 待 着 一 场 新 


然后 新 雪 终于 降临 了 。 起 初 ， 雪 花 
覆盖 大 地 ， 带 来 了 完美 的 滑雪 体验 ， 这 
醋 过 来 时 发 现 ， 数 据 库 的 世界 也 覆盖 了 一 层 新 雪 。 当 然 ， 
RDBMS 软件 中 获得 令 人 吃惊 的 丰富 体验 。 
糊 搜 索 。 但 你 























这 段 时 间 里 ， 




















真实 情况 是 ， 关 系数 据 库 在 灵活 性 和 可 人 





熙 可 



































j 户 界面 从 绿 屏幕 变 成 了 客户 端 -服务 器 的 方式 ， 又 变 成 了 基于 互联 
地 称职 而 单调 。 所 以 ， 我 





至 不 是 以 掩盖 早 行者 的 足迹 ， 但 暴雪 随后 到 来 ， 















































E 是 我 们 渴望 的 不 同和 品质 。 在 过 去 的 一 年 里 ,我 
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尔 可 以 创建 集群 ， 进 行 














关系 数据 库 还 在 ， 你 可 以 从 开 
文 搜索 ， 


源 
甚至 进行 模 








不 再 受 限 于 某 种 方式 。 一 年 里 我 没有 创建 过 一 个 完整 的 关系 型 解决 方案 。 在 




















我 使 用 了 一 个 文档 数据 库 和 几 种 键 - 值 数据 库 。 












































建 的 各 类 应 
验 室 待 了 10 
会 看 到 一 些 























]， 还 有 更 
年 ,与 同事 和 客户 从 事 数 据 库 工 
上 | 子 ， 完 美 地 有 覆盖 了 数据 库 领 域 最 重要 的 进 








合适 























的 模型 ， 更 简单 、 















































的 发 展 。 在 键 - 值 存 


ns 

















濡 库 中 ， 


尔 会 

















亮 的 查询 机 制 
亲 。 在 文档 数据 库 中 ， 你 会 看 3 








。 在 列 型 数据 库 社 区 ， 你 将 体验 到 HBase 的 威力 ， 它 是 关 


缩 性 方面 不 再 处 于 殖 断 地 位 。 对 于 我 们 要 构 
更 快速 、 更 可 靠 。 作 为 在 IBM 的 奥斯汀 实 
作 的 人 ， 我 被 这 种 进步 惊 采 了 。 在 本 书 中 ， 你 
展 ， 正 是 这 些 数据 库 支撑 了 互联 网 
到 伸缩 性 极 好 、 极 为 可 靠 的 Riak， 还 会 看 3 
系数 据 库 模型 的 近 
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由 Redis 中 漂 























到 伸缩 性 极 好 的 、 优 雅 的 解决 方案 ， 处 理 深 























你 还 会 看 到 NN 





要 成 为 更 好 的 程 





图 形 数据 库 上 的 应 用 ， 支 持 快 速 地 在 关系 上 导航 。 
序 员 或 数据 库 管理 员 ,， 你 吏 用 所 有 这 些 数 据 库 。 随 着 


eo 和 Dj 在 









































慨 峰 套 的 文档 。 


Eric Redmond 


2 序 











和 Jim Wilson 引导 你 走 过 的 这 段 神 奇 的 旅程 ， 每 一 步 都 会 让 你 更 聪明 ， 所 获得 的 深刻 见解 
对 于 软件 职业 来 说 是 无 价 的 。 你 会 知道 每 种 平台 的 内 光 之 处 和 最 大 局 限 。 你 会 看 到 行业 的 
发 展 方向 ， 理 解 行业 的 驱动 力 。 









































享受 这 段 旅程 吧 。 
Bruce Tate, 《七 周 七 语言 》 的 作者 
2012 年 2 月 


德 克 萨 斯 州 奥 斯 洒 














作者 访谈 


Q: 你 们 怎么 选择 这 七 种 数据 库 的 ? 


Eric: 我 们 确实 有 一 些 选择 标准 ， 但 没有 明确 列 出 来 。 这 些 数据 库 必须 是 开源 的 ， 
为 我 们 不 想 介绍 让 读者 绑 定 某 公 司 的 数据 库 。 对 于 5 种 数据 库 类 型 (关系 型 、 键 - 值 对 型 、 
列 型 、 文 档 型 、 图 型 )， 每 种 至 少 需要 一 个 实现 。 然 后 我 们 选择 一 些 数 据 库 ， 它 们 能 够 用 实 
例 展示 我 们 想 介绍 的 一 些 一 般 概 念 ， 如 CAP 原理 或 MapReduce。 最后, 我 们 选择 一 些 彼此 
是 很 好 的 竞争 对 手 的 数据 库 。 所 以 我 们 选择 了 MongoDB 和 CouchDB (二 者 实现 文档 数据 
库 的 不 同方 式 )。 我 们 选择 Riak 是 因为 它 是 Dynamo (亚马逊 的 数据 库 ) 的 一 种 实现 ， 可 
以 与 HBase 进行 比较 ， 而 后 者 是 BigTable ( 谷歌 的 数据 库 ) 的 一 种 实现 。 


Jim: 我 们 这 本 书 的 主要 目标 是 向 读者 介绍 现 有 的 选择 . 我 们 的 选择 基本 上 服务 于 这 个 
目标 。 即 便 如 此 ， 这 也 是 一 个 相当 长 的 选 代 过 程 。 我 们 知道 ， 不 论 我 们 选 了 哪些 数据 库 ， 
都 会 有 人 问 ， 为 什么 我 们 选择 或 没 选择 他 们 喜欢 的 产品 。 这 首先 取决 于 我 们 想 讨 论 的 数据 
库 类 型 ， 然 后 选择 的 数据 库 既 要 代表 某 个 类 型 ， 又 要 相对 比较 受 欢 迎 。 


例如 , 我 们 选择 了 PostgreSQL, 因为 它 几乎 严格 地 遵守 SQL 标准 , 同时 又 不 如 MySQL 
这 样 的 开源 竞争 产品 那样 知名 。 类 似 地 ， 虽 然 HBase 和 Cassandra 都 是 面向 列 的 数据 库 ， 
但 我 们 选择 了 HBase， 因 为 Cassandra 是 混合 类 型 ， 它 同时 包含 了 来 自 BigTable 论文 和 


Dynamo 论文 的 思想 。 
Q: 数据 库 正 在 快速 变化 。 现 在 你 们 希望 当初 选 了 哪些 ? 


Eric: 有 几 百 种 数据 库 可 以 选择 ， 但 我 们 很 高 兴 地 看 到 ， 一 年 之 后 ， 我 们 的 选择 仍然 
在 变 得 更 强 。 但 是 ， 如 果 再 来 一 次 ， 我 会 加 入 Triplestore (如 Mulgara )， 因 为 语义 网 正 让 
这 种 数据 存储 方法 逐渐 变 得 热门 。 我 也 会 在 Neo4j 的 Cypher 语言 上 花 更 多 的 时 间 ， 或 更 详 
细 地 介绍 Hadoop， 因 为 分 析 是 数据 存储 的 一 大 部 分 工作 。 


Jim: 是 的 ,数据库 在 快速 地 变化 ， 这 体现 在 两 个 方面 。 首 先 ， 可 用 数据 存储 技术 的 领 
域 在 近年 来 有 了 爆炸 式 增长 。 越 来 越 多 的 不 同 数据 库 正 在 涌现 ， 填 补 不 同 的 小 众 需求 。 在 
另 一 方面 ， 各 种 数据 库 本 身 也 在 快速 发 展 。 即 使 在 小 版 本 之 间 ， 现 代 的 NoSQL 数据 库 也 
在 加 入 越 来 越 多 的 特征 ， 目 的 是 占领 更 多 的 市 场 ， 保 持 竞争 力 。 因 此 ， 也 产生 了 一 些 趋同 
效应 ， 这 使 得 选择 更 为 困难 ， 因 为 更 多 的 产品 可 以 满足 你 的 需求 。 
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我 还 是 认为 ， 我 们 选择 的 5 种 类 型 和 7 种 数据 库 满足 了 我 们 设 定 的 条 件 。 但 我 还 想 写 
其 他 的 数据 库 。 包括 一 些 长 期 受 欢迎 的 数据 库 ， 如 SQLite， 以 及 一 些 你 可 能 想不到 的 数据 
库 ， 如 OpenLDAP 或 SOLR (一 个 倒 排 索引 /查找 引擎 )。 


Q: 为 什么 你 们 决定 要 写 这 本 书 ? 


Eric: Jim 和 我 很 早 就 在 讨论 写 这 样 一 本 书 了 。 大 约 一 年 半 以 前 , 他 发 了 一 封 只 有 标题 
的 电子 邮件 : “七 周 七 数据 库 ? ”这 个 标题 打动 了 我 。 我 们 都 喜欢 Bruce 的 《七 周 七 语言 》， 
这 似乎 是 探讨 这 个 新 兴 领 域 的 完美 方式 。 


Jim: 早 在 2010 年 3 月 ，Eric 和 我 就 对 写本 NoSQL 的 书 进行 了 探讨 。 那 时 候 ， 关 于 这 
个 术语 有 许多 讨论 ， 但 也 有 许多 迷惑 。 我 们 认为 我 们 可 以 为 讨论 带 来 某 种 结构 ， 并 将 所 有 
最 新 进展 告诉 不 那么 了 解 最 新 情况 的 人 。 


在 读 了 Bruce A. Tate 的 《七 周 七 语言 》 之 后 ， 我 想 , “七 种 数据 库 怎 么 样 ? ”Eric 提交 
了 一 份 建议 ， 几 周 后 我 们 就 开始 动手 写 了 。 


Q: 你 对 目前 和 将 来 的 数据 库 怎 么 看 ? 


Eric: 我 是 Neo4j 的 粉丝 。 我 们 在 本 书 中 介绍 了 它 ， 但 老实 说 ， 我 们 选 它 是 因为 想 探 
讨 一 个 开源 的 图 数据 库 。 但 在 过 去 的 一 年 里 ， 它 确实 非常 成 功 。 我 相信 ， 今 年 会 有 更 多 的 
人 采用 图 数据 库 。 


在 我 们 没有 介绍 的 数据 库 中 ， 我 认为 ElasticSearch 很 清楚 获得 了 支持 。OrientDB 也 很 
有 趣 ， 因 为 它 可 以 作为 关系 型 、 键 值 对 型 、 文 档 型 或 图 数据 库 。 我 认为 将 来 你 会 看 到 更 多 
这 样 的 多 类 型 表现 。 就 像 我 们 前 面 提 到 的 ，Triplestores 也 得 到 一 些 支持 ， 虽 然 他 们 的 问题 
集 与 一 般 的 图 型 数据 库 有 很 大 的 交集 。 


Jim: 当然 ， 有 很 多 数据 库 ， 但 至 少 有 两 种 是 我 个 人 希望 仔细 研究 的 : ElasticSearch 和 


doozer。 


ElasticSearch 是 分 布 式 的 、 对 等 的 、 支 持 REST/JSON 的 文档 搜索 引擎 。ElasticSearch 
采用 分 布 式 的 Lucene 索引 作为 核心 ,允许 REST 客户 端 根据 模糊 的 条 件 查找 文档 。 每 个 人 
都 需要 一 个 搜索 引擎 ，ElasticSearch 让 这 一 点 变 得 容易 了 。 


Doozer 是 一 个 快速 的 、 无 头 一 致 (headless consensus ) 的 引擎 。 它 是 Heroku 的 一 群 聪 
明 人 用 Go 语言 写 的 。Dozzer 对 于 存放 小 块 的 重要 信息 是 很 好 的 ， 这 些 信息 绝对 需要 一 致 
(如 集群 的 配置 元 数据 )， 但 没有 单 点 失效 。 
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如 果 说 数据 是 新 的 石油 ， 那 么 数据 库 就 是 油田 、 炼 油 广 、 钻 井 和 油泵 。 数 据 存放 在 数 
据 库 中 ， 如 果 你 有 兴趣 利用 它 ， 那 么 掌握 相应 的 现代 化 的 工具 就 是 好 的 开始 。 

数据 库 是 工具 ， 它 们 是 到 达 终 点 的 手段 。 每 种 数据 库 都 有 自己 保存 数据 和 看 待 世界 的 
方式 。 你 对 它们 的 理解 越 多 ， 就 越 能 随心 所 欲 ， 在 日 益 增 长 的 大 数据 上 ， 就 能 更 好 地 利用 
它们 潜在 的 能 


























































































































为 什么 是 7 种 数据 库 




















早 在 2010 年 3 月 ， 我 们 就 想 写本 关于 NoSQL 的 书 。NoSQL 这 个 术语 已 经 聚集 了 人 
气 ， 虽 然 许 多 人 都 在 谈论 ， 但 关于 它 似乎 也 存在 相当 多 的 困惑 。NoSQL 到 底 意味 着 什么 ? 
包含 哪些 类 型 的 系统 ? 对 于 开发 优秀 的 软件 ， 它 将 产生 怎样 的 影响 ? 这些 就 是 我 们 想 要 回 
答 的 问题 ， 既 是 为 我 们 自己 ， 也 是 为 别人 。 

在 读 了 Bruce Tate 的 典范 性 的 著作 《七 周 七 语言 》 后 ， 我 们 知道 他 做 得 很 对 。 他 循序 
渐进 地 介绍 语言 的 方式 引起 了 我 们 的 共鸣 。 我 们 觉得 用 同样 的 方式 讲授 数据 库 ， 将 会 提供 
一 个 很 好 的 环境 ， 回 答 这 些 环 手 的 NoSQL 问题 。 

































































本 书 内 容 


本 书 针对 的 是 有 经 验 的 开发 者 ， 他 们 希望 全 面 地 理解 现代 数据 库 的 整体 情况 。 本 书 不 
要 求 读 者 以 前 在 数据 库 方面 有 经 验 ， 但 有 数据 库 经 验 会 有 助 于 学 习 本 书 。 

在 简单 的 介绍 之 后 ， 本 书 分 章 介 绍 了 7 个 数据 库 。 这 些 数据 库 分 属 5 种 不 同 的 数据 库 
类 型 或 风格 , 这 在 第 1 章 中 有 介绍 。 它们 依次 是 PostgreSQL、 Riak、Apache HBase、MongoDB、 
Apache CouchDB、Neo4j 和 Redis。 
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每 章 都 设计 成 一 个 长 周末 的 学 习 量 ， 分 为 三 天 。 每 天 结束 时 都 有 一 些 练 习 ， 扩 展 刚刚 
介绍 的 主题 和 概念 。 每 章 最 后 都 有 一 段 总 结 性 的 讨论 ， 总 结 了 这 种 数据 库 的 优点 和 缺点 。 
你 既 可 以 学 得 快 一 点 ， 也 可 以 学 得 慢 一 点 ， 但 重要 的 是 先 掌 握 每 天 的 概念 ， 再 继续 后 面 的 
学 习 。 我 们 试 着 设计 了 一 些 例 子 来 探索 每 种 数据 库 的 独特 之 处 。 要 真正 理解 这 些 数据 库 提 




















































































































供 的 能 力 ， 必 须 花 些 时 让 


虽然 你 可 能 想 跳 过 某 些 章 ， 但 我 们 设想 你 是 按 章 节 顺 序 阅 读 这 本 书 的 。 某 些 概念 ， 如 

















来 使 用 它 




















们 ， 这 意味 着 要 动手 实践 。 























映射 - 归 约 (mapreduce)， 在 前 面 的 章节 中 深入 地 进行 了 介绍 ， 所 以 在 后 面 的 章节 中 就 略 过 
了 。 本 书 旨 在 实现 对 现代 数据 库 的 











不 包含 的 内 容 






































致 理解 ， 所 以 建议 你 完整 地 阅读 本 书 。 





在 阅读 本 书 之 前 ， 你 应 该 知道 它 不 包含 哪些 内 容 。 


本 书 不 是 安装 指南 


安装 本 书 中 提 到 的 数据 库 有 时 



































数据 库 ， 可 以 使 用 提 作 








候 容 易 ， 有 时 候 有 些 挑战 ， 有 时 候 非常 辐 手 。 对 于 某 些 











的 安装 包 ; 而 对 于 男 一 些 数据 库 ， 需 要 编译 源 代码 。 我 们 会 不 时 提 






































供 一 些 有 用 的 提示 ， 但 3 






































概念 讨论 ， 这 才 是 你 真 了 





本 书 也 不 是 管理 手册 


出 于 对 安装 同样 的 考虑 ， 本 书 也 不 会 介绍 管理 手册 里 的 所 有 内 容 。 每 种 数据 库 都 有 大 




















的 选项 、 设 置 、 开 关 和 配置 
































> 加 
























































和 置 的 全 部 其 体 细 。 





























要 还 是 靠 你 自己 。 省 略 安装 步骤 让 我 们 能 安排 更 多 有 用 的 例子 和 
E 想 要 的 ， 对 吗 ? 


















































细节 ， 绝 大 部 分 都 能 在 Web 上 找到 详尽 的 文档 。 我 们 更 关心 














对 Windows 用 户 的 说 明 


本 书本 身 就 讨论 选择 ， 主 要 是 针对 *nix 平 台 上 的 开源 软件 。 微 软 的 环境 作为 集成 环境 




















绍 有 用 的 概念 ， 完 全 深入 进去 ， 而 不 是 仅 关 注 日 常 操作 。 昌 然 数 据 库 的 一 些 特点 会 根据 操 


























作 设置 而 改变 〈 我 们 可 能 会 讨论 这 些 特 点 )， 但 由 于 篇 幅 有 限 ， 我 们 不 可 能 介绍 所 有 可 能 配 















































有 点 困难 ， 它 限制 了 许多 选择 ， 只 留 下 一 个 较 小 的 、 预 定义 的 子 集 。 因 此 ， 我 们 介绍 的 数 









































行 一 个 Linux 虚 拟 机 。 


! http:/www.cygwin.com/ 


据 库 是 开源 的 ， 由 *nix 系 统 的 用 户 
前 真实 情况 的 反映 。 所 以 ,我 们 假定 
并 希望 给 它 一 个 尝试 的 机 会 ， 我 们 






































开发 (也 主要 为 他 们 服务 )。 这 不 是 我 们 的 偏见 ， 只 是 当 


教程 式 的 例子 运行 在 *nix 的 shell 下 。 如 果 你 运行 Windows 




















E 荐 安装 Cygwin ， 这 样 更 容易 成 功 。 你 也 可 以 考虑 运 


























语言 不 同 。 


， 而 不 是 脚本 


























因为 我 们 介绍 的 这 些 数据 库 本 身 使 
[ 具 


喜欢 命令 行 ] 




















办 是 














DD 





代码 示例 和 惯例 
本 书包 含 各 种 语言 的 代码 。 部 分 原 
我 们 曾 试 着 将 语言 局 限 在 Ruby/JRuby 和 JavaScript。 我 们 更 
语言 , 但 我 们 会 引入 其 他 一 些 语言 来 完成 工作 , 如 PL/pgSQL (Postgres) 和 Gremlin/Groovy 
服务 器 端的 JavaScript 应 








Nodejs， 编 写 一些 
可 以 直接 执行 。 根 据 所 涉及 的 语言 规则 ， 












































也 会 尝试 使 用 
E 明 ， 代 码 清单 都 是 完整 的 ， 通 常 
的 语法 。shell 命令 以 $] 
































CNeo4j)。 我 们 
除非 特别 注 
突出 了 示例 和 代码 片段 ， 于 始 。 
































的 所 有 源 代码 。 





民 好 的 资源 。 从 上 面 可 以 下 载 本 书 
:区 论坛 和 勘误 提交 ， 你 可 以 通过 它们 对 本 书 未 来 的 版 本 提 

















在 线 资源 
本 书 的 Pragmatic Bookshelf 页 面 ! 是 和 


你 也 会 找到 一 些 反 和 
出 改进 建议 。 
我 们 完成 现代 数据 库 的 观光 之 旅 。 


Ll 








人 铺 丁 有 目 
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Eric Redmond 和 Jim R. Wilson 











你 陪 人 有 


感光 


! http://pragprog.com/book/rwdata/seven-databases-in-seven-weeks 


致 谢 











本 书 内 容 涉及 范围 都 比较 宽泛 ， 只 靠 两 位 作者 是 无 法 完成 的 。 它 需要 许多 非常 聪明 的 
人 的 努力 ， 他 们 有 超人 般 的 眼睛 ， 能 尽 可 能 多 地 发 现 错 误 ， 针 对 这 些 技术 的 细节 提供 有 价 





























值 的 见解 。 
我 们 要 感谢 所 有 贡献 出 时 间 和 专业 知识 的 人 《不 分 先后 ): I 


























an Dees、Mark Phillips、 Jan 
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当前 是 数据 库 世 界 的 一 个 重要 时 刻 。 多 年 来 ， 无 论 针 对 的 问题 是 大 还 是 小 ， 关 系 模型 








直 是 事实 上 的 选择 。 我们 不 指望 关系 数据 库 会 很 快 消失 , 但 是 人 们 
出 来 ， 寻 找 替 代 的 方案 ， 如 无 模式 或 可 替代 的 数据 结构 ， 可 简单 复制 ， 具 有 高 可 用 性 ， 可 横向 



































扩展 ， 以 及 新 的 查询 方法 。 这 些 选 择 统称 为 NoSQL， 而 NoSQL 占 
本 书 将 探讨 七 种 数据 库 ， 涉 及 各 种 数据 库 风格 。 在 阅读 本 书 的 过 程 














数据 库 具 有 的 各 种 功能 和 折 ! 
























































E 在 从 RDBMS 的 迷雾 中 走 


























据 了 本 书 的 大 部 分 内 容 。 











FPF， 你 将 了 解 每 个 








， 如 持久 性 与 速度 、 绝 对 一 致 性 与 最 终 一 致 性 等 ， 并 学 会 如 
何 针 对 你 的 使 用 场景 ， 做 出 最 好 的 决策 。 





1.1 从 一 个 问题 开始 
本 书 的 核心 问题 是 : 哪 种 数据 库 或 数据 库 组 合 最 好 地 解决 了 你 的 问题 ? 读 完 本 书 ， 如 
果 你 知道 如 何 根据 特定 需求 和 手头 的 资源 做 出 这 种 选择 ， 我 们 会 很 高 兴 。 


但 要 回答 这 个 问题 ， 你 需要 了 解 你 的 选择 。 为 此 ， 我 们 将 带 你 深入 这 7 个 数据 库 ， 揭 
示 精 华 ， 并 指出 瑕 疯 。 你 将 亲手 尝试 CRUD 操作 ， 发 挥 你 使 用 的 模式 的 力量 ， 并 找到 下 面 



































这 些 问题 的 答案 : 


e。 这 是 什么 类 型 的 数据 库 ? 数据 库 分 为 各 种 





























类 型 ， 





面向 文档 型 和 图 型 。 流 行 的 数据 库 ( 包 括 本 书 中 介 











将 了 解 每 种 类 型 的 数据 库 ， 以 及 它们 最 适合 的 各 种 问题 。 我 们 对 本 了 















































例如 ， 关 系 型 、 键 - 值 型 、 多 列 型 、 

















的 ) 一 般 可 以 划分 为 这 几 大 类 型 。 你 








涉及 的 数据 库 精 心 挑 





选 ， 以 覆盖 这 些 类 型 ， 包 括 一 个 关系 数据 库 〈Postgres)， 两 个 键 - 值 存储 数据 库 (Riak 和 
Redis)， 一 个 面向 列 的 数据 库 (HBase)， 两 个 面向 文档 的 数据 库 (MongoDB 和 CouchDB )， 





以 及 一 个 图 数据 库 (Neo4j)。 














2 概述 


第 1 章 








驱动 力 是 什么 ? 数据 库 不 是 赁 室 产 4 





的。 它们 是 为 了 解决 实际 使 用 中 提出 的 问题 。 


在 RDBMS 关系 数据 库 管 理 系统 ) 出 现 的 环境 中 ， 数 据 库 查 询 的 灵活 性 比 灵 活 的 模式 更 








习 














关系 退 居 次 要 地 位 。 我 们 将 介 乡 












































EE 要 。 男 一 方面 ， 建 立 面 向 列 的 数据 库 是 为 了 适 于 存储 跨 多 机 的 大 量 数据 ， 而 数据 之 间 的 
使 用 每 个 数据 库 的 场景 和 相关 的 例子 。 











。 如 何 与 数据 库 交 互 ? 数据库 往往 文 持 多 种 连接 选项 。 只 要 某 个 数据 库 有 交互 式 的 命 











令 行 界面 ,我 们 会 首先 使 用 它 ， 


可 
果 需 要 




















过 后 再 介绍 其 他 方法 。 如 编 


























程 ， 我们 主要 使 用 Ruby 


和 JavaScript, 尽管 不 时 会 用 到 其 他 几 种 语言 , 如 PL/pgSQL (Postgres) 和 Gremlin (Neo4j)。 
更 深入 一 层 ， 我 们 将 讨论 诸如 REST (CouchDB 和 Riak) 和 Thrift (HBase) 协议 。 第 9 章 








将 介 




















人 更 复杂 的 数据 库 环境 





十 














4 
» 于 














| Node.js JavaScript 实现 联接 在 一 起 。 


。 每 种 数据 库 的 独特 性 体现 在 哪里 ? 任何 数据 存储 库 都 支持 写 入 和 读 回 数据 .它们 在 


其 他 的 方面 彼此 大 不 相同 。 有 些 数据 库 允 许 对 任意 字段 的 查询 。 有 些 数据 库 提供 




















快速 索引 


查找 。 有 些 数据 库 支 持 自 由 定义 的 查询 (ad hoc query); 而 其 他 的 数据 库 的 查询 必须 先 规 





划 。 模 式 是 数据 库 所 强制 的 一 个 
库 的 功能 和 限制 ， 将 有 助 于 挑选 


9 























制 呢 ? 它 是 否 使 有 
读 、 写 或 其 他 操作 做 了 优化 吗 ? 





e。 每 种 数据 库 的 可 伸缩 性 如 何 ? 可 伸缩 仅 





= 和 = 


般 不 会 有 结论 。 本 书 会 提供 背景 
如 何 扩展 每 个 数据 库 的 讨论 会 
容易 实现 横向 扩展 ( 

和 Redis)， 或 者 介 于 


我 们 的 目标 不 是 ; 














两 者 之 间 。 
各 某 种 数据 


十 不 




















每 种 数据 库 的 性 能 如 何 ? 这 个 数据 库 如 何 工 作 ? 其 必 









































刚性 框架 ， 或 仅仅 是 一 些 随意 商定 的 准则 ? 理解 每 种 数据 
适合 你 的 工作 的 数据 库 。 














J 
小 用 





如 果 








F 销 如 何 ? 它 支持 分 片 吗 ? 复 
一 致 散 列 均匀 地 分 布 数据 ? 它 将 相似 的 数据 放 在 一 起 吗 ? 这 个 数据 库 为 
对 优化 进行 控制 ， 程 度 如 何 ? 








与 性 能 相关 。 没 有 .| 





知识 ， 你 在 建立 这 个 上 下 文 时 就 能 提 
你 会 发 现 每 利 
MongoDB、Hbase 和 Riak)， 还 是 传统 的 纵向 扩 





局 


=\ 


淡化 ， 但 在 这 些 革 节 里 ， 











库 的 新 手 培养 成 大 !) 














据 库 都 将 充满 整 本 : 
不 同 。 





的 篇 由 




















1.2 风格 


如 同音 乐 一 样 ， 各 种 数据 库 有 着 其 本 喘 独 特 的 风格 。 所 有 的 歌曲 都 使 月 
歌曲 更 合适 。 少 有 人 驾驶 新 




















但 是 有 些 音符 对 某 些 网 络 的 
驶 ， 同 时 播放 巴赫 的 《B 小 




















更 好 些 。 你 要 问 的 不 是 “我 能 够 月 


这 个 数据 库 吗 ? ” 


周 弥 撒 








j。 如 果 这 样 做 的 话 
。 但 最 终 你 应 该 能 够 牢 牢 把 握 每 个 数据 库 








FF 下文 ,谈论 可 伸缩 性 

正确 的 问题 。 虽 然 
数据 存储 库 是 更 
展 〈Postgres、Neo4j 





























， 其 中 任何 一 个 数 
的 优势 ， 以 及 它们 的 














和 


日 同 样 的 音符 ， 














沿 答 过 








， 沿 着 40 


5 号 公路 超速 行 





























》。 同 样 ， 
昌 这 个 数据 库 来 存储 和 完善 数据 

















在 某 些 情况 下 ， 一 些 数据 














库 比 其 他 数据 库 
吗 ? ”而 是 “我 应 该 用 











1.2 风格 3 

















本 节 将 要 探讨 5 种 主要 的 数据 库 类 型 ， 也 会 简单 介绍 每 种 类 型 中 我 们 要 关注 的 数 


据 库 。 








重要 的 是 要 记 住 ， 你 将 面临 的 大 多 数 数据 问题 ， 可 以 用 本 书 中 的 大 部 分 或 全 部 数据 库 





解决 ， 更 别 说 还 有 其 他 数据 库 。 问 题 不 是 某 种 数据 库 风 格 是 否 能 别 生 搬 便 套 地 用 来 为 你 的 

















数据 建 模 ， 而 是 它 是 否 最 








适合 你 的 问题 领域 、 使 用 模式 ， 以 及 可 用 的 资源 。 你 将 学 会 预测 

































































一 种 数据 库 是 否 在 本 质 上 对 你 有 用 ， 而 这 是 一 门 艺术 。 





1.2.1 关系 数据 库 

















关系 模型 通常 是 大 多 数 有 数据 库 经 验 的 人 首先 想到 的 。 关 系数 据 库 管理 系统 
(Relational DataBase Management System，RDBMS) 是 以 集合 理论 为 基础 的 系统 ， 实 现 为 














具有 行 和 列 的 二 名 


























Language, SQL) 














进 制 大 对 象 ， 或 其 他 类 型 。 


复杂 的 表 ， 因 为 它 人 
有 许多 开源 关系 数据 库 可 供 选择 ， 包 括 MySQL、H2、HSQLDB、SQLite 等 。 第 2 章 









































E 表 。 与 RDBMS 交互 的 标准 方法 , 是 用 结构 化 查询 语言 (Structured Query 
编写 查询 。 数 据 值 具有 类 型 ， 可 以 是 数字 、 字 符 串 、 日 期 、 未 解释 的 二 






































系统 强制 使 用 类 型 。 重 要 的 是 ， 表 可 以 联接 并 转化 为 新 的 、 更 









































将 介绍 PostgreSQL。 











PostgreSQL 


门 的 数学 











基础 是 关系 《集合 ) 理论 。 











PostgreSQL 和 久 经 沙场 ， 它 是 迄今 为 止 我 们 介绍 的 最 古老 和 最 健壮 的 数据 库 。PostgreSQL 


符合 SQL 标准 , 之 前 曾 使 












































过 关系 数据 库 的 人 都 会 觉得 熟悉 它 ， 这 为 我 们 将 使 用 的 其 他 数 

















据 库 提供 了 一 个 坚实 的 比较 基础 。 我 们 还 将 探讨 一 些 不 大 为 人 熟悉 的 SQL 功能 以 及 
Postgres 特有 的 优势 。 从 SQL 新 手 到 专家 ， 每 个 人 都 能 从 中 有 所 收获 。 


1.2.2 ” 键 - 值 数据 库 







































































键 - 值 (Key-Value，KV) 存储 库 是 我 们 介绍 的 最 简单 的 模型 。 顾 名 思 义 ，KV 存储 库 

















将 键 与 值 配 对 ， 类 似 于 所 有 流行 编程 语言 中 的 映射 〈 或 哈 希 表 )。 某 些 KV 实现 允许 复杂 
的 值 类 型 ， 如 哈 希 或 列表 ， 但 这 不 是 必需 的 。 一 些 KV 实现 提供 了 一 种 迭代 遍历 键 的 方 
式 ， 但 这 也 是 额外 的 好 处 。 如 果 你 将 文件 的 路 径 视 为 键 而 将 文件 内 容 作 为 值 ， 文 件 系统 
































































































































也 可 以 看 成 是 键 - 





值 存储 库 。 











因为 KV 存储 库 对 资源 的 要 求 非 常 少 ， 所 以 这 种 数据 库 类 型 





在 一 些 场景 中 有 令 人 难以 置信 的 高 性 能 ， 但 是 当 你 有 复杂 的 查询 和 聚合 需求 时 ， 它 一 般 














不 会 有 帮助 。 














与 关系 数据 库 一 样 ， 有 许多 开源 的 KV 存储 库 可 以 选择 。 一 些 较 受 欢迎 的 产品 包括 











4 第 1 章 概述 














memcached〈 及 相关 的 memcachedb 和 membase)、Voldemort， 以 及 我 们 在 本 书 中 介绍 的 两 
个 产品 : Redis 和 Riak。 





1. Riak 


第 3 章 介 绍 的 Riak 不 仅仅 是 一 个 键 - 值 存储 库 ， 它 从 台 就 支持 HTTP 和 REST 等 
Web 方式 。 它 严格 实现 了 亚马逊 Dynamo 的 原理 ， 具 有 一 些 高 级 功能 ， 如 解决 冲突 的 向 量 
时 钟 。Riak 中 的 值 可 以 是 任何 内 容 ， 从 纯 文 本 到 XML 到 图 像 数 据 ， 而 键 之 间 的 关系 由 称 
为 链接 (link) 的 命名 结构 处 理 。Riak 是 本 书 中 知名 度 较 小 的 数据 库 ， 但 它 越 来 越 受 欢迎 ， 
在 我 们 将 要 讨论 的 数据 库 中 ， 它 是 第 一 个 通过 mapreduce 支持 高 级 查询 的 数据 库 。 


2. Redis 


Redis 提供 复杂 的 数据 类 型 ， 如 有 序 集合 和 哈 希 ， 以 及 基本 消息 模式 ， 如 发 布 - 订 阅 
和 阻塞 队列 。 它 是 查询 机 制 最 健壮 的 KV 存储 库 之 一 。 在 写 入 磁盘 之 前 先 写 入 内 存 缓存 ， 
Redis 因此 获得 了 惊人 的 性 能 ， 代 价 是 在 出 现 硬 件 故障 的 情况 下 ， 增 加 了 数据 丢失 的 风 
险 。 这 一 特性 使 得 它 适 合用 于 缓存 非 关 键 数据 ， 或 作为 消息 代理 。 我 们 将 它 留 到 最 后 介 
绍 (参见 第 8 章 )， 以 便 可 以 用 Redis 与 其 他 数据 库 配 合 ， 构 建 多 数据 库 应 用 。 












































































































































































































































1.2.3” 列 型 数据 库 


列 型 〈 或 面向 列 的 数据 库 ) 的 命名 源 自 于 其 设计 的 一 个 重要 方面 ， 即 来 自 一 个 给 定 的 
列 《〈 在 二 维 表 的 意义 上 ) 的 数据 存放 在 一 起 。 相 比 之 下 ， 面 向 行 的 数据 库 〈 如 RDBMS )， 
将 一 行 的 信息 保存 在 一 起 。 这 种 差异 看 起 来 似乎 无 关 紧 要 ， 但 实际 上 这 种 设计 决策 的 影响 
很 深 。 在 面向 列 的 数据 库 中 ， 添 加 列 是 相当 简易 的 ， 而 且 是 逐 行 完成 的 。 每 一 行 可 以 有 一 
组 不 同 的 列 ， 或 完全 没有 ， 人 允许 表 保 持 稀 玖 (sparse)， 而 不 会 产生 空 值 的 存储 成 本 。 在 结 
构 方面 ， 列 型 数据 库 大 约 介 于 关系 数据 库 和 键 - 值 存储 库 之 间 。 


在 列 型 数据 库 市 场 中 ， 竞 争 相 比 关系 数据 库 或 键 - 值 存储 较 少 。 三 种 最 流行 的 产品 是 
HBase (在 第 4 章 中 介绍 )、Cassandra 和 Hypertable。 














































































































HBase 


在 我 们 介绍 的 所 有 非 关 系数 据 库 中 ， 这 个 面向 列 的 数据 库 与 关系 模型 最 为 相似 。 以 
Google 的 BigTable 论文 作为 蓝图 ，HBase 建立 在 Hadoop〔 一 个 mapreduce 引擎 ) 之 上 ， 
其 设计 目标 是 在 常用 硬件 的 集群 上 横向 伸缩 。HBase 保证 了 强 一 致 性 并 提供 带 行 和 列 的 表 
的 功能 ， 这 使 得 SQL 粉丝 有 宾至如归 的 感觉 。 它 直接 支持 版 本 控制 和 压缩 ， 这 令 它 在 “大 
数据 ”的 世界 中 与 众 不 同 。 























































































































1.2.4 ”文档 型 数据 库 


当然 ， 面 向 文档 的 数据 库存 储 的 就 是 文档 。 简 而 言 之 ， 文 档 就 像 是 哈 希 ， 上 有 共有 一 个 独 


一 无 二 的 标识 符 ID) 字段 和 
套 的 结构 ， 因 此 ， 它 



































Hl 值 ， 值 可 能 是 任何 类 型 ， 包 折 






































有 限制 ， 只 要 它 满足 基本 要 求 ， 可 以 表示 为 一 个 文档 。 在 建 索 引 、 自 由 定义 的 查询 、 复 和 
, 不同 的 文档 数据 库 采 取 了 不 同 的 方法 。 需要 了 解 这 些 差异 ， 
改 出 明智 地 选择 。 


源 产品 是 MongoDB 〈 在 第 $ 章 中 介 乡 











一 致 性 及 其 他 设计 决策 等 方面 
及 其 对 特定 使 月 



































第 6 昔 中 介 








Ns 








1l. MongoDB 


MongoDB 





Mongo 服务 器 的 配置 试 
值 (直到 下 次 更 新 )。 这 一 特性 吸引 了 那些 具有 RDBMS 背景 的 人 。 它 也 提供 了 一 些 原子 读 





写 操作 〈 如 递增 












































日 场 景 的 影响 ， 才 能 在 它们 之 间 


文档 数据 库 市 场 中 的 两 大 























门 表现 出 了 高 度 的 灵活 性 ， 允 许 有 可 变 域 。 该 系统 对 输入 的 数据 


1.2 风格 
















































































为 查询 语言 ， 支 持 简单 的 查询 和 复杂 的 mapreduce 工作 。 
2. CouchDB 





CouchDB 的 目标 是 各 利 
是 用 Erlang 编写 的 ， 具 有 独特 的 坚 
的 数据 文件 几乎 不 可 于 




















Hn 
赎 毁 ， 


持 高 可 用 性 。 像 Mongo 一 相 

















的 设计 目标 是 支持 巨大 的 数据 (名 字 mongo 是 从 单词 humongous 上 
图 保持 一 致 性 : 如果 你 写 入 了 什么 内 容 ， 随 后 的 读 取 将 得 到 相同 的 











更 多 的 哈 希 。 文 档 可 以 包含 嵌 
民 少 


剖 、 


) 和 CouchDB (在 






































即使 是 面 对 间 知性 的 连接 丢失 或 硬件 故障 ， 
E，CouchDB 的 原生 查询 语言 是 JavaScript。 视图 包括 mapreduce 




















FP 提 取 的 )。 


个 值 )， 以 及 对 嵌 套 文档 结构 的 深层 查询 。MongoDB 利用 JavaScript 作 


部 署 场景 ， 从 数据 中 心 到 桌面 ， 一 直到 智能 手机 。CouchDB 


回 性 ， 这 一 点 在 大 部 分 其 他 数据 库 中 是 缺乏 的 。 由 于 它 





CouchDB 也 仍 能 























函数 ， 它 们 以 文档 的 形式 存储 并 在 节点 之 间 复 制 ， 像 任何 其 他 的 数据 一 样 。 





1.2.5 图 数据 库 








这 是 一 利 








Fh 不 太 凋 

















| 的 数据 库 类 型 ， 图 数据 库 善 于 处 型 
节点 及 节点 之 间 的 关系 。 节 点 和 关系 可 以 有 一 些 属性 ( 




















LE 高 度 互 联 的 数据 。 图 数据 库 包 





些 键 - 值 对 )， 














j 来 存储 数据 。 




















数据 库 的 真正 实力 是 按照 关系 凯 历 节点 。 
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Neo4] 











第 7 章 讨论 现在 最 流行 的 图 数据 库 Neo4j。 
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含 
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在 遍历 自我 引用 或 以 其 他 方式 杂乱 地 连接 在 一 起 的 数据 时 , 其 他 数据 库 常 常 操作 失败 。 
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这 正 是 Neo4j 使 人 眼前 一 亮 的 地 方 。 使 用 图 数据 库 的 好 处 在 于 能 够 快速 在 节点 和 关系 之 间 


























移动 , 找到 相关 数据 。 图 数据 库 经 常用 在 社交 网 络 应 用 中 , 它 
是 其 中 的 佼佼 者 。 





























1.2.6 混合 使 用 多 种 数据 库 

















们 因 灵 活性 而 受到 关注 , Neo4j 














在 实际 环境 中 ， 各 种 数据 库 经 常 一 起 使 用 。 使 用 单一 的 














关系 数据 库 仍 然 很 常见 ， 但 随 



































着 时 间 的 推移 ， 流 行 的 做 法 是 同时 使 用 几 种 数据 库 ， 利 用 它 
































们 各 自 的 长 处 ， 创 建 一 个 生态 








系统 , 比 其 各 部 分 的 功能 总 和 更 强大 、 更 全 面 、 更 健壮 。 这 种 做 法 叫做 多 持久 并 存 (Polyglot 











Persistence )， 第 9 章 将 进一步 讨论 这 一 主题 。 


1.3 前进 和 提升 














我 们 正 处 在 数据 存储 选择 的 寒 武 纪 大 爆炸 之 中 ， 很 难 准 
们 可 以 相当 肯定 ， 任 何 一 种 特定 策略 〈 关 系 型 或 其 他 类 型 ) 






































确 预 测 未 来 会 如 何 发 展 。 但 我 
都 不 大 可 能 大 获 全 胜 。 相 反 ， 















































我 们 将 看 到 越 来 越 多 的 专用 数据 库 ， 每 种 适合 一 组 特定 (但 














肯定 有 重 伏 ) 的 理想 问题 。 今 





天 有 一 些 工作 需要 关系 数据 库 的 专业 知识 (DBA)， 同 样 ， 我 们 会 看 到 对 应 的 非 关 系 领 域 








的 增长 。 



































与 编程 语言 和 程序 库 一 样 ， 数 据 库 是 另 一 套 工具 ， 每 个 
每 一 个 好 木 折 必须 了 解 他 的 工具 箱 里 有 什么 。 就 像 所 有 好 的 
供 你 使 用 的 多 种 选择 ， 就 不 会 成 为 一 名 大 师 。 







































































开发 人 员 都 应 该 知道 数据 库 。 
建筑 师 一 样 ， 如 果 你 不 熟悉 可 
































本 书 就 像 是 一 个 车 间 里 的 速成 课 。 在 本 书 中 ， 你 会 挥动 锤子 ， 转 动 电钻 ， 使 用 射 钉 枪 ， 























并 最 终 能 够 建立 比 鸟 笼子 更 大 、 更 复杂 的 东西 。 闲 话 少 说 ， 
库 : PostgreSQL 。 























我 们 来 使 用 我 们 的 第 一 个 数据 


第 2 


一 
对 





PostgreSQL 是 数据 库 





如 果 你 抢 得 够 狐 ， 它 所 能 解决 的 问题 数量 尺 人 。 如 果 不 了 解 这 个 最 常用 的 





可 能 成 为 建筑 专家 。 





PostgreSQL 是 一 个 关系 数据 库 管理 系统 , 即 它 是 以 集合 理论 为 基 耐 
它 定 义 为 一 些 二 维 表 ， 表 中 包含 数据 行 和 具有 严格 数据 类 型 的 列 。 虽 然 人 们 对 新 兴 数 据 库 
越 来 越 有 兴趣 ， 但 关系 数据 库 仍然 是 最 流行 的 数据 库 ， 而 且 这 种 趋势 可 








时 间 。 


PostgreSQL 











世界 里 的 “锤子 ”。 它 既 广 为 人 知 ， 又 容易 获得 ， 还 很 坚 国 ， 
























































| 
能 会 


























一 一 、? 你 


就 不 


的 系统 , 在 实现 上 ， 





保持 很 长 一 段 


关系 数据 库 流 行 的 原因 ， 不 仅 在 于 其 庞大 的 特性 集 〈 触 发 器 、 存 储 过 程 、 高 级 索引 入 


数据 的 安全 性 (符合 ACID )， 或 符合 大 多 数 人 


















































的 思维 方式 (许多 程序 员 以 关系 的 方式 说 话 


和 思考 ), 还 在 于 它们 的 查询 灵活 性 。 与 其 他 菜 些 数据 存储 库 相 比 ， 你 不 必 事 先知 道 要 如 何 



































的 开源 关系 数据 库 例子 。 








使 用 这 些 数据 。 如 果 关 系数 据 模式 是 规范 的 ， 忆 

















2.1 这 就 是 Post-greS-Q-L 


在 本 书 提 到 的 数据 库 9 
括 自 然 语言 解析 、 多 维 索引 





























高 级 












































的 事务 处理 色 


pg 么 查询 就 可 以 很 灵活 。PostgreSQL 是 最 好 


Hh，PostgreSQL 是 历史 最 悠久 、 实 战 经 验 最 丰富 的 。 它 的 扩展 包 
1、 地 理 查 询 、 自 定义 数据 类 型 等 。 它 具有 


能 力 ， 


支持 十 儿 种 不 同 语言 的 存储 过 程 ， 能 在 各 种 平台 上 运行 。PostgreSQL 内 置 支持 Unicode、 

































































Skype、 法 国 储 蕾 银行 (CNAF) 和 美国 联邦 航空 局 (FAA)。 








已 经 在 一 些 高 知名 度 的 生产 系统 上 得 到 验 说 





序列 、 表 继承 、 子 查询 ， 而 且 是 市 场 上 遵循 ANSI SQL 标准 最 好 的 关系 数据 库 之 一 。 它 快 


速 可 靠 ， 可 以 处 理 TB 量 级 的 数据 ， 并 有 





FE， 如 


8 第 2 章 PostgreSQL 


那么 ， 名 字 是 怎么 来 的 呢 

自 1995 年 以 来 ，PostgreSQL 就 以 目前 的 项 目 形态 存在 ， 但 它 的 起 源 相 当 久 远 。20 世 
纪 70 年 代 初 ， 最 初 的 项 目 产生 于 加 州 大 学 伯克利 分 校 ， 叫 做 交互 式 图 形 和 检索 系统 
(Interactive Graphics and Retrieval System )， 或 简称 为 “Ingres”。 在 20 世纪 80 年 代 ， 
推出 了 一 个 改进 版 本 ，post-Ingres， 简 称 为 Postgres。 虽 然 该 项 目 于 1993 年 在 伯克利 大 
学 终结 ， 但 开源 社区 取得 了 该 项 目的 源码 ， 并 将 其 发 布 为 PostgreSQL95。 后 来 于 1996 
年 更 名 为 PostgreSQL， 表 示 对 新 的 SQL 标准 的 支持 ， 此 后 一 直 沿 用 这 个 名 字 。 


可 以 用 多 种 方式 安装 PostgreSQL， 这 取决 于 你 的 操作 系统 !。 除 了 安装 核心 组 件 ， 还 需 
要 在 PostgreSQL 上 安装 扩展 包 ， 用 到 以 下 扩展 包 : tablefunc、dict xsyn、 
fuzzystrmatch、pg trgm 和 cube。 可 以 参考 网 站 上 的 安装 指南 ?。 


安装 PostgreSQL 之 后 ， 使 用 下 面 的 命令 创建 一 个 名 为 pook 的 数据 库 : 


















































$ _ createdb book 











接 下 来 ， 我 们 将 在 本 章 中 使 用 book 数据 库 。 运 行 下 面 的 命令 ， 以 确保 你 需要 的 扩展 
包 已 经 正确 安装 。 












































$ psql book -c "SELECT '1'::cube;" 








如 果 你 看 到 一 条 错误 消息 ， 请 查看 官网 的 文档 ， 以 获得 更 多 的 信息 。 


2.2 第 1 天 : 关系 、CRUD 和 联接 


我 们 虽然 不 会 把 你 当 作 是 一 个 关系 数据 库 专 家 ， 但 是 确实 会 假设 你 曾 用 过 一 两 个 数据 
库 。 这 些 数据 库 很 可 能 是 关系 型 的 。 我 们 将 开始 创建 自己 的 数据 表 ， 并 填充 数据 。 然 后 尝 
试 查询 一 些 行 。 最 后 探讨 关系 数据 库 中 非常 重要 的 表 联 接 。 

就 像 大 多 数 数据 库 一 样 ，Postgres 提供 一 个 后 台 服 务 进 程 (Backend)， 它 完成 所 有 数 
据 处 理工 作 ， 还 提供 一 个 命令 行 客户 端 程序 ， 通 过 它 连 接 到 运行 中 的 服务 进程 。 服 务 进 程 
默认 监听 5432 端口 ， 可 以 用 psql 这 个 命令 行 工具 连接 。 























































































































数学 关系 
关系 数据 库 的 名 称 源 于 它们 包含 关系 ( 即 表 )， 它 们 是 元 组 (即行 ) 的 集合 ,元 组 又 将 
属性 映射 到 原子 值 (例如 ，{name: 'Genghis Khan', p.died at age: 65}). 


! http:/www.postgresQL.org/download/ 
2 http:/www.postgresQL.org/docs/9.0/static/contrib.html 


2.2 第 1 天 : 关系 、CRUD 和 联接 9 


可 用 的 属性 通过 头 部 的 属性 元 组 来 定义 ， 这 些 属 性 映射 到 某 个 域 或 限制 的 类 型 ( 即 列 ; 
例如 ，{name: stringd，age: int})。 这 是 关系 结构 的 要 点 。 


尽管 听 起 来 数学 味 很 浓 ， 但 是 实现 比 名 字 所 暗示 的 更 具有 现实 意义 。 那 么 ， 为 什么 要 
提 到 这 些 ? 我 们 正 试图 说 明 ， 关 系数 据 库 的 关系 是 因为 它 的 数学 基础 ， 不 是 因为 表 通 
过 外 键 彼此 “关联 ?。 这 样 的 限制 是 否 存 在 并 不 是 关键 。 


虽然 许多 数学 关系 你 看 不 到 ， 但 模型 的 力量 肯定 是 蕴藏 在 数学 之 中 。 这 种 魔法 允许 用 
户 提出 功能 强大 的 查询 ， 然 后 让 系统 基于 预定 义 的 模式 进行 优化 。RDBMS 基于 集合 
理论 的 一 个 分 支 ， 名 为 关系 代数 ， 它 包括 选择 (WHERE . .. )、 投 影 (SELECT. . . )、 
笛 卡 尔 积 (JOIN . .. ) 等 操作 ， 如 图 2-1 所 示 。 


























如 果 将 关系 想象 为 一 张 物 理 表 (数组 的 数组 ， 在 数据 库 入 门 课 中 无 数 次 重复 过 )， 可 能 
实践 中 造成 痛苦 ， 如 编写 遍历 所 有 行 的 代码 。 关 系 查询 的 描述 性 远 胜 于 此 ， 它 源 于 一 个 数 
学 分 支 ， 名 为 元 组 关系 演算 ， 可 以 转换 为 关系 代数 。PostgreSQL 和 其 他 的 RDBMS 通过 
执行 这 个 转换 优化 了 查询 ， 简 化 了 代数 运算 。 你 可 以 看 到 ， 图 2-2 中 的 SQL， 与 图 2-1 中 
的 SQL 是 一 样 的 。 


将 People 
选择 died_at_age 
i 重 命名 为 x 
names | | 


Tiname (Odied at_age=w (Px (People))) 


SELECT x.name FROM People x WHERE x.died_at age IS NULL 
图 2-1 关系 代数 和 SQL 


对 于 带 有 属性 name 
的 自由 变量 t 
存在 一 个 人 
了 Rt ace 元 组 x 存 关系 而 且 


“People 中 0 而 且 元 组 的 属性 
三 name 的 值 是 相等 的 


{t: {name} | 3x: {name, died at_age} (x € People ^ x.died at age =w 人 ^t.name = x.name )} 
自由 变量 结果 


SELECT x.name FROM People x WHERE x.died at age IS NULL 


图 2-2 元 组 关系 演算 和 SQL 





$ psql book 
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以 管理 员 用 户 运 行 的 话 ，PostgreSQL 的 提示 符 是 数据 库 的 名 字 后 面 跟 一 个 人 #”， 如 果 


口 






























































是 普通 用 户 ， 后 面 跟 的 是 “$” 。 这 个 命令 行程 序 的 内 置 文档 是 所 有 命令 行程 序 中 最 好 的 。 
输入 “\h”， 可 以 列 出 有 关 SQL 命令 的 信息 ，\? 列 出 以 反 斜 杠 开始 的 psql 特有 命令 的 





帮助 信息 。 可 以 使 用 下 列 方式 找到 每 个 SQL 命令 的 使 用 详细 信息 : 























book=# \h CREATE INDEX 
Command: CREATE INDEX 
Description: define a new index 
Syntax: 
CREATE [ UNIQUE ] INDEX [ CONCURRENTLY ] [ name ] ON table [ USING method | 
( { column | ( expression ) } [ opclass ] [ ASC | DESC ] [ NULLS { FIRST | ... 
[ WITH ( storage parameter = Value [, ... ] ) |] 
[ TABLESPACE tablespace | 
[ WHERE predicate |] 





人 


令 值 ， 如 SELECT 或 CREATE TABLE 。 























在 我 们 深入 探讨 PostgreSQL 之 前 ， 最 好 先 熟悉 这 个 有 用 的 工具 。 还 可 以 熟悉 一 些 常见 












































2.2.1 从 SQL 开始 


PostgreSQL 遵循 SQL 惯例 ， 称 关系 为 表 (TABLE)， 属 性 为 列 (COLUMN )， 元 组 为 














行 (ROW)。 虽 然 你 可 能 会 遇 到 一 些 数 学 术语 ， 如 关系 、 属 性 和 元 组 ， 为 了 保持 一 致 性 ， 
我 们 将 使 用 这 些 术语 ， 如 关系 、 属 性 和 元 组 。 有 关 这 些 概念 的 更 多 信息 ， 请 参阅 2.2 节 的 
“数学 关系 ”。 

关于 CRUD 


CRUD 是 一 个 助 记 符 , 帮助 记忆 数据 管理 基本 操作 : 创建 、 读 取 、 更 新 和 删除 ( Create， 
Read，Update，Delete ).。 这 些 操 作 一 般 对 应 插入 新 记录 (创建 ), 修改 现 有 记录 (更 新 )， 
删除 不 再 需要 的 记录 (删除 )。 你 使 用 数据 库 时 所 有 的 其 他 操作 (你 可 以 梦想 到 的 任何 
疯狂 查询 ) 都 是 读 操作 。 如 果 能 进行 CRUD 操作 ， 你 就 能 做 任何 事 。 


2.2.2 ”使 用 表 


表 ， 然 后 插入 符合 数据 库 定义 的 数据 。 








PostgreSQL 是 关系 型 的 数据 管理 系统 ， 所 以 需要 事先 进行 设计 。 要 先 设 计 好 数据 库 的 

















创建 表 包 括 为 它 命名 ， 定 义 所 有 列 及 其 类 型 ， 以 及 定义 〈 可 选 的 ) 约束 信息 。 每 张 表 





都 应 该 指定 唯一 的 标识 符 列 ， 以 标识 特定 的 行 。 该 标识 符 称 为 主键 (PRIMARY KEY )。 创 
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建 countries 表 的 SQL 语句 如 下 所 示 : 





CREATE TABLE countries ( 
country code char (2) PRIMARY KEY, 
country name text UNIQUE 




















这 张 新 表 将 存储 一 些 行 ， 其 中 每 一 行 由 两 个 字 节 的 国家 代码 作为 标识 ， 国 家 名 也 是 唯 
一 的 。 这 两 列 都 有 约束 ， 主 键 约束 country_code 列 不 允许 有 重复 的 国家 代码 ， 所 以 只 
有 一 个 us 和 一 个 gb 可 以 存在 表 中 。 尽 管 country_name 不 是 主键 ,但 是 明确 地 给 
country name 类 似 的 唯一 性 约束 。 可 以 用 如 下 语句 插入 儿 行 来 填充 这 张 counties 表 。 






































































































































INSERT INTO countries (country code, country name) 
VALUES ('us','United States'), ('mx','Mexico'), ('au','Australia'), 
('gb','United Kingdom'), ('de','Germany'), ('11','Loompaland'); 








ce 


让 我 们 来 测试 一 下 唯一 性 约束 。 如 果 尝 试 添加 包含 重复 的 country_name 的 行 ， 就 
会 因为 唯一 性 约束 而 不 允许 插入 。 约束 是 PostgreSQL 这 样 的 关系 数据 库 用 来 确保 数据 完整 
的 方法 。 
























































INSERT INTO countries 

VALUES ('uk','United Kingdom'); 

ERROR: duplicate key value violates unique constraint "countries country name key" 
DETAIL: Key (country name)= (United Kingdom) already exists. 















































通过 SELECT. . .FROM table 语句 进行 查询 ， 可 以 验证 相关 的 行 是 否 已 经 插入 。 











SELECT * 
FROM countries; 


country_ code country name 


| 
Ee es 
us | United States 
mx | Mexico 
au | Australia 
gb | United Kingdom 
de | Germany 
十 业 | Loompaland 
(6 rows) 











根据 正规 的 地 图 ， 可 以 知道 Loompaland 不 是 真实 存在 的 地 方 ， 所 以 让 我 们 从 表 中 删 
除 它 。 用 WHERE 子 句 指定 要 删除 的 行 ，country_code 等 于 11 的 行将 被 删除 。 























DELETE FROM countries 
WHERE country code = '11') 
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只 有 实际 存在 的 国家 留 在 了 countries 表 中 ， 记 
证 所 有 插入 的 country_code 都 在 countries 表 ， 
为 country_code 列 引 用 了 另 一 张 表 的 键 ， 所 以 它 称 为 外 键 约束 。 
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[我 们 再 添加 一 个 cities 表 。 为 保 








， 将 添加 关键 字 R 














EFERENCES。 因 




















CREATE TABLE cities ( 


name text NOT NULL, 

postal code varchar (9) CHECK (postal code <> ''), 
country code char(2) REFERENCES countries, 
PRIMARY KEY (country code, postal code) 














这 一 次 ，cities 表 中 的 name 列 的 约束 是 不 允许 其 值 为 NULL 的 。postal code 列 的 
约束 ， 是 其 值 不 能 是 空 字符 串 〈<> 表 示 不 等 于 )。 
























































此 外 ， 因 为 主键 唯一 地 标识 一 行 ， 所 以 定义 了 一 个 复合 键 : 




















postal _code。 它 们 共同 作为 一 行 的 唯一 的 标识 符 。 


Postgres 也 有 丰富 的 数据 类 型 ， 刚 才 看 到 了 三 种 不 同 的 字符 串 表 示 : text〔 任 意 长 度 的 字 





符 上 



































定义 了 数据 表 后 ， 让 我 们 插入 Toronto，CA。 





country code + 


BB)，varchar (9)〔 长 度 可 达 9 个 字 节 的 字符 串 ) 和 char (2)〈 正 好 两 个 字 节 的 字符 串 )。 





INSERT INTO cities 
VALUES ('Toronto','M4C1BS','ca'); 


ERROR: insert or update on table "cities" violates foreign key constraint 


"cities country code fkey" 


DETAIL: Key (country code)=(ca) is not present in table "countries". 





是 有 效 的 ， 
可 以 这 样 定义 cities 表 的 列 : country_code char (2) REF 











这 个 操作 失败 并 不 是 什么 坏事 ! 因为 country code 需要 参考 countries， 所 
以 country code 必须 存在 于 countries 表 中 ， 这 称 为 保持 参照 完整 性 ， 参 见 图 
2-3， 它 确保 数据 始终 是 正确 的 。 值 得 指出 的 是 ，NULL 对 cities.country_code 
















































































因为 NULL 代表 一 个 值 空 缺 . 如 果 你 不 想 允 许 country_code 引用 为 NULL， 











ER 








ENC 


ES countries 








NOT NULL。 











现在 我 们 再 试 试 插入 一 个 美国 城市 的 数据 。 





INSERT INTO cities 
VALUES ('Portland','87200','us'); 


INSERT 0 1 
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name | postal cogde | country_code country_ code 


country name 


一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 


Portland | 97205 CED > sD 


mx 
au 
uk 


de 

















United States 
Mexico 
| Australia 


United Kingdom 





Germany 


图 2-3 PREFERENCE 关键 字 约 束 字 段 参 照 男 一 张 表 的 主键 。 


当然 ， 这 是 一 次 成 功 的 插入 。 但 是 我 们 输入 了 错误 的 邮政 编码 。 波 特 兰 (Portland) 正 


























nl 















































第 的 邮政 编码 是 97205， 但 我 们 不 必 删 除 并 重新 插入 ， 可 以 直接 更 间 


折 这 一 行 。 





UPDATE cities 
SET postal code = '97205"' 
WHERE name = 'Portland'; 








现在 已 经 可 以 创建 、 读 取 、 更 新 、 删 除 表 中 的 行 了 。 


2.2.3 ”使 用 联接 的 查询 


在 本 书 中 学 习 的 所 有 其 他 数据 库 ， 也 都 可 以 执行 CRUD 操作 。 























但 PostgreSQL 这 样 的 








关系 数据 库 有 独特 的 能 力 ， 能 够 在 读 取 表 时 对 表 进 行 联接 。 联 接 本 质 上 是 以 某 种 方式 联接 




















两 个 独立 的 表 ， 并 返回 一 张 结果 表 。 这 有 点 像 拼 字 游 戏 ， 打 散 单词 的 字母 卡片 ， 重 新 拼接 


























字母 ， 从 而 得 到 新 的 词 。 





















































联接 的 基本 形式 是 内 联接 (inner join)。 最 简单 的 形式 就 是 ， 使 用 ON 关键 字 指 定 匹 配 








的 两 列 《〈 每 张 表 一 列 ) 














SELECT cities.*, country _ name 
FROM cities INNER JOIN countries 
ON cities.country code = countries.country code: 


country code | name | postal code | country name 
一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
us | Portland | 97205 | United States 


























联接 返回 单 张 表 ， 其 中 包含 cities 表 的 所 有 列 的 值 ， 再 加 上 
中 countzy_name 的 值 。 



































匹配 的 countries 表 


也 可 以 联接 诸如 cities 这 样 有 复合 主键 的 表 。 为 了 测试 复合 联接 , 我 创建 一 张 新 表 ， 











来 存储 场地 (venue) 的 列表 。 
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某 个 国家 和 一 个 邮政 编码 组 成 一 个 场所 。 外 键 必须 引用 cities 表 的 两 个 主键 列 。 
(MATCH FULL 是 一 个 约束 ， 确 保 两 个 值 都 存在 ， 或 两 者 均 为 NULL。) 






































CREATE TABLE venues (人 
venue id SERIAL PRIMARY KEY, 
name varchar (255), 
street address text, 
type char(7) CHECK ( type in ('public','private') ) DEFAULT 'public', 
postal code varchar (9) ， 
country code char (2), 
FOREIGN KEY (country code, postal code) 


REFERENCES cities (country code, postal code) MATCH FULL 
); 








其 中 venue_id 列 是 一 种 常见 的 主键 设置 : 设置 为 自动 递增 整数 〈1，2，3，4，…)。 
可 以 使 用 SERIAL 关键 字 来 定义 这 个 标识 符 〈MySQL 有 一 个 类 似 的 构造 ， 称 为 
AUTO_INCREMENT )。 
































INSERT INTO venues (name, postal code, country code) 
VALUES ('Crystal Ballroom', '97205', 'us'); 

















虽然 没有 设置 venue_igq 的 值 ， 但 创建 行 时 会 填充 它 。 















































回 到 复合 联接 。 联 接 enues 表 和 cities 表 需 要 用 到 两 个 外 键 列 。 为 了 减少 输入 量 ， 
可 以 在 表 名 后 面 直接 加 别名 , 它们 中 间 的 AS 是 可 选 的 (例如 , venues v 或 venues AS v)。 
































SELECT v.venue id, v.name, c.name 
FROM venues V INNER JOIN cities Cc 
ON v.postal code=c.postal code AND v.country code=c.country code; 
venue id | name | name 
EE EE 


1 | Crystal Ballroom | Portland 














可 以 选择 指定 PostgreSQL 在 插入 后 返回 一 些 列 ， 方 法 是 让 请 求 以 RETURNING 
语句 结尾 。 











INSERT INTO venues (name, postal code, country code) 
VALUES ('Voodoo Donuts', '97205', ‘'us') RETURNING venue id; 
ie 











k 


无 须 执行 男 一 个 查询 ， 就 可 以 得 到 3 





I 























所 插入 的 venue id 值 。 
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2.2.4 ”外 联接 














下 


除了 内 联接 ， PostgreSQL 也 可 以 执行 外 联接 (outerjoin)。 外 联接 是 合并 两 张 表 的 一 种 
方式 ， 不 论 另 一 张 表 中 是 否 存 在 匹配 的 列 值 ， 第 一 张 表 的 结果 总 是 必须 返回 。 


最 简单 的 方法 是 举 一 个 例子 ， 但 是 首先 我 们 需要 创建 一 张 名 为 events 的 新 表 。 
events 表 应 该 有 这 些 列 : SERIAL 整数 event id、title、starts 和 ends〔 类 型 为 
时 间 戳 )， 以 及 venue_ id (引用 venues 的 外 键 )。 图 2-4 展示 了 一 个 数据 库 的 定义 图 ， 
它 涵盖 了 到 目前 为 止 我 们 创建 的 所 有 表 。 


*country_code has 
country name | zero ormany 


























































































J *postal_code 
| *country_code 
name 


contains 


小 
Venues 






*event_id Vengesig 
Fs name 
title hosts 9 street_address 


type 
postal_code 





country_code 


图 2-4 鱼尾纹 实体 关系 图 (ERD ) 



































创建 events 表 后 ， 插 入 以 下 值 (时 间 戳 作为 字符 串 插 入 ， 例 如 ，2012-02-15 17:30 )， 
两 个 节日 ， 以 及 我 们 不 会 详 加 讨论 的 一 个 俱乐部 。 















































title | starts | ends | venue id | event id 
一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 
LARP Club [S2012302=15. .17:330500% 1 2012=02=15. L9330:00 中 2% fl 
April Fools Day | 2012-04-01 00:00:00 | 2012-04-01 23:59:00 | | 2 
Christmas Day 20T2=12=25..00%00%00 ,012 12=25.. 23359:00: | 3 

















我 们 先 来 做 一 个 查询 ， 使 用 内 联接 返回 一 个 事件 的 标题 和 场地 名 称 ‘INNER JOIN 中 
的 INNER 并 不 是 必需 的 ， 所 以 这 里 省 略 它 )。 












































SELECT e.title, v.name 
FROM events e JOIN venues v 
ON e.venue id = Vv.venue id; 
title | name 
Pe ET Se 
LARP Club | Voodoo Donuts 
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只 有 列 值 匹 配 ，INNER JOIN 才 会 返 

















所 以 两 个 空 sevents .venue id 没有 关联 到 任何 事 ' 














回 一 行 。 因 











为 不 能 


青 。 要 查询 所 有 的 事件 , 不 管 它们 是 否 








空 的 venues .venue id， 











有 场地 ， 我 们 需要 一 个 左 外 连接 (LEFT OUTER JOIN， 人 简写 为 LEFT JOIN )。 








SELECT e.title, v.name 

FROM events e LEFT JOIN venues Vv 

ON e.venue id = v.venue id; 
title | name 


LARP Club | Voodoo Donuts 
April Fools Day | 
Christmas Day 





如 果 你 需要 反 过 来 ， 返 回 所 有 的 场地 和 匹配 的 寻 
有 FULL JOIN， 这 是 LEFT 和 RIGHT 的 联合 ; 保证 

















就 会 联接 。 


2.2.5 ”使 用 索引 快速 查找 


PostgreSQL 的 速度 (和 任何 其 他 RDBMS 一 样 ) 源 于 划 
的 磁盘 块 读 取 、 查 询 优 化 等 技术 。 如 果 从 events 表 选 择 t 
































大 件 ， 就 要 用 RIGHT JOIN 。 最 后 ， 还 
能 得 到 每 张 表 中 的 所 有 值 ， 列 匹配 时 












































高 效 的 数据 块 管理 、 尽 可 能 少 





itle 为 Christmas Day 的 行 ， 则 





需要 进行 全 表 扫 描 ， 以 返回 相关 的 结果 。 如 果 没 有 索引 ， 就 必须 从 磁盘 读 取 每 一 行 ， 才 能 























知道 是 否 是 匹配 行 。 参 见 图 2-5。 


matches "Christmas Day"? NO. 一 -一 








matches "Christmas Day"? NO. 一 -一 April Fools Day 


matches "Christmas Day"? Yesl 一 -一 Christmas Day 


图 2-5 全 表 扫 描 是 找到 匹配 的 数 ] 




















索引 是 一 个 特殊 的 数据 结构 ， 目 的 是 避免 执行 查询 时 进 














LARP Club 





TABLE 命令 时 ， 你 可 能 注意 到 这 样 一 条 消息 : 























最 慢 的 方法 


I 




















行 全 表 扫 描 。 当 运行 CREATE 





CREATE TABLE / PRIMARY KEY will create imp] 


for table "events" 


Licit index "events pkey" \ 























PostgreSQL 自动 在 主键 上 创建 索引 ， 以 主键 的 列 值 为 索引 的 键 ， 索 引 的 值 则 指向 磁 
盘 上 的 一 行 ， 如 图 2-6 所 示 。 采 用 UNIQUE 关键 字 ， 是 强制 在 表 中 一 列 上 创建 索引 的 另 




















一 种 方式 。 









































他 








可 以 使 用 CREATE INDEX 命令 明确 




















《就 像 一 个 哈 希 或 映射 )。 






































地 添加 一 个 哈 希 索引 ， 其 中 每 个 值 必须 是 唯一 的 
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SELECT * FROM events WHERE event id = 2; 






"events.id" hash Index "events" Table 
1 —> LARP Club | 25 1 于 
2 i April Fools Day | | 2 
3 一 和 christmas Day | | 3 
图 2-6 利用 索引 的 碍 询 指向 精确 的 行 而 无 需 进 行 表 扫 描 


















































CREATE INDEX events titile 
ON events USING hash (title); 




















TT 


对 于 操作 符 为 小 于 /大 于 /等 于 这 样 的 匹配 查询 ， 我 们 希望 索引 比 简单 的 哈 希 更 灵活 ， 


如 B 树 索 引 〔( 见 图 2-7)。 考 虑 用 一 个 查询 来 查找 4 月 1 日 或 之 后 发 生 的 所 有 事件 。 
























































SELECT * 
FROM events 
WHERE starts >= '2012-04-01'; 





SELECT * FROM some_table WHERE some_number >= 2108900; 
索引 扫描 
| 


1 


索引 y 


NOON wr 















be ~ ~ 
% ~ 六 
表 : 汪 SS 
、 人 二 
\ se ee = 
1 1April Fools Day | ... ) (2 1 Book Signing | ... 31Christmas Day | ... CE 2108900 | Candy Fest!} (2108901 | Root Canal 
1 2 3 2108900 2108901 
1 1 ' ' 
一 表 扫描 




















图 2-7 B 树 索引 可 以 匹配 范围 查询 
对 于 这 样 的 操作 ， 树 是 一 个 完美 的 数据 结构 。 要 对 starts 列 创建 B 树 索 引 ， 使 用 下 
面 的 命令 ; 





























CREATE INDEX events starts 
ON events USING btree (starts); 
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这 样 对 日 期 范围 的 查询 将 可 以 避免 全 表 扫 描 。 当 扫描 数 百 万 或 数 十 亿 行 时 ， 上 述 查 询 
的 性 能 差异 会 很 大 


可 以 用 下 面 的 命令 ,图 
























































Ws 





出 数据 模式 中 的 所 有 索引 : 


互 | 











book=# \ai 























值得 注意 的 是 ， 当 对 列 创建 一 个 FOREIGN KEY 约束 时 ，PostgreSQL 将 自动 在 目标 列 
创建 索引 。 即 使 你 不 喜欢 使 用 数据 库 约束 ， 也 会 经 常 发 现 自己 需要 在 进行 联接 的 列 上 创建 
索引 ， 以 便 加 快 基于 外 键 的 表 联 接 。 



















































































2.2.6 第 1 天 总 结 

















我 们 今天 快速 介绍 了 许多 内 容 ， 涉 及 很 多 方面 。 总 结 如 下 : 















































































































































术 语 定 义 

列 具有 某 种 类 型 的 值 的 域 ， 有 时 也 称 为 属性 

行 -组 列 值 组 成 的 一 个 对 象 ， 有 时 也 称 为 一 个 元 组 

表 -组 具有 相同 的 列 的 行 ， 有 了 时 也 称 为 一 个 关系 

主键 指向 一 个 特定 的 行 的 唯一 的 值 

CRUD 创建 、 读 取 、 更 新 、 删 除 

SQL 结构 化 查询 语言 ， 关 系数 据 库 的 标准 语言 

联接 按 一 些 匹 配 的 列 结合 两 张 表 
左 联 接 按 一 些 匹 配 的 列 结合 两 张 表 ， 如 果 没 有 匹配 左 表 的 内 容 ， 就 以 NULL 补足 
索引 优化 选择 特定 的 一 组 列 的 数据 结构 

B- 树 -个 很 好 的 标准 索引 ， 值 存储 为 一 个 平衡 树 数据 结构 ;非常 灵活 


















































四 十 多 年 来 ， 关 系数 据 库 已 经 成 为 事实 上 的 数据 管理 策略 ， 我 们 中 的 很 多 人 在 其 发 展 
的 中 途 ， 开 始 了 自己 的 职业 生涯 。 因 此 ， 我 们 通过 一 些 基 本 的 SQL 查询 ， 初 步 探讨 了 关系 
模型 的 一 些 核心 概念 。 明 天 我 们 将 详细 说 明 这 些 基 本 概念 。 


[eel 




















mS、 I 









































2.2.7 第 1 天 作业 


查找 


1. 将 PostgreSQL 官网 的 常见 问题 集 (FAQ〉 和 官方 文档 保存 为 书签 。 

















2， 熟悉 PSQL 的 命令 行 \? 和 \h 的 输出 信息 。 
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3. 在 FOREIGN KEY 的 定义 中 文档 中 找到 MATCH FULL 是 什么 意思 。 
成 

1. 从 pg_class 中 查询 我 们 创建 的 所 有 表 〈 仅 我 们 创建 的 )。 

2. 编写 一 个 查询 ， 找 到 LARP Club 事件 对 应 的 国家 名 。 


3. 修改 venues 表 ， 增 加 一 个 名 为 active 的 列 ， 该 列 为 布尔 类 型 ， 默认 值 是 TRUE。 














Bll 












































2.3 第 2 天: 高 级 查询 、 代 码 和 规则 
昨天 ， 我 们 看 到 了 如 何 定 义 数据 库 表 ， 然 后 插入 数据 ， 更 新 和 删除 行 ， 以 及 读数 据 。 
今天 我 们 将 更 深入 探讨 PostgreSQL 查询 数据 的 各 种 方法 。 


我 们 将 看 到 如 何 对 相似 的 值 归 类 ， 在 服务 器 端 执行 代码 ， 并 使 用 视图 (view〉 和 规则 
(rule) 创建 自 定义 接口 。 在 这 一 天 的 最 后 , 我 们 将 利用 PostgreSQL 的 一 个 扩展 包 翻 转 表 头 。 







































































2.3.1 聚合 函数 























聚合 查询 按照 一 些 共 同 的 标准 将 多 行 的 结果 分 组 。 它 可 以 简单 到 统计 一 张 表 的 行 数 ， 
或 计算 某 些 数值 列 的 平均 值 。 它 们 是 强大 的 SQL 工具 ， 也 很 有 趣 。 


我 们 来 尝试 一 些 聚 合 函 数 ， 但 在 此 之 前 我 们 需要 在 数据 库 中 有 更 多 的 数据 。 在 
countries 表 中 加 入 你 自己 的 国家 ， 在 cities 表 中 加 入 你 自己 的 城市 ， 并 以 自己 的 地 
址 作为 场地 (这 里 称 为 My Place)， 然 后 添加 一 些 记 录 到 events 表 中 。 


下 面 是 一 个 简单 的 SQL 技巧 : 在 子 查询 里 通过 更 加 可 读 的 title 来 获得 venue_id, 而 
不 用 直接 给 出 venue iqd。 如 果 Moby〈 白 鲸 ) 正在 Crystal Ballroom 上 演 ， 可 以 这 样 设置 


venue. id: 












































































































































































































































INSERT INTO events (title, starts, ends, venue id) 
VALUES ('Moby', '2012-02-06 21:00', '2012-02-06 23:00', ( 
SELECT venue id 
FROM venues 
WHERE name = 'Crystal Ballroom'" 
) 
); 

















用 以 下 数据 填 入 events 表 〈 要 在 PostgreSQL 里 输入 Valentine's Day， 可 以 用 双 撤 号 转 
义 ， 如 Heaven's Gate)。 
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title | starts | ends | venue 
一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
Wedding | 2012-02-26 21:00:00 | 2012-02-26 23:00:00 | Voodoo Donuts 
Dinner with Mom | 2012-02-26 18:00:00 | 2012-02-26 20:30:00 | My Place 
Valentine’s Day | 2012-02-14 00:00:00 | 2012-02-14 23:59:00 | 














设置 好 数据 后 ,我们 尝试 一 些 聚 合 查 询 。 最 简单 的 聚合 函数 是 count ()， 它 的 意思 不 






































言 自明 。 下 面 统计 所 有 包含 Day 关键 字 的 标题 ( 注 : % 是 LIKE i 可 以 得 
到 结果 为 3。 














SELECT count (title) 
FROM events 
WHERE title LIKE ' Day3'; 











要 在 Crystal Ballroom 发 生 的 所 有 事件 中 ,获得 最 早 的 开始 时 间 和 最 晚 的 结束 时 间 ， 就 




















要 使 用 min () (返回 最 小 值 ) 和 max() (返回 最 大 值 )。 

















SELECT min(starts), max (ends) 
FROM events INNER JOIN venues 

ON events.venue id = venues.venue id 
WHERE venues.name = 'Crystal Ballroom'; 


2012=02=06 21500500. “I.2012-=02=06.23%0000 




















虽然 聚合 函数 很 有 用 ， 但 只 用 它们 是 不 够 的 。 如 果 我 们 想 统 计 每 个 场地 的 所 有 事件 ， 




















就 可 以 为 每 个 场地 ID 写 出 如 下 语句 : 





SELECT count (*) FROM events WHERE venue id = 1; 

SELECT count (*) FROM events WHERE venue id = 2; 

SELECT count (*) FROM events WHERE venue id = 3; 
(*) 


SELECT count FROM events WHERE venue id = IS NULL; 
































Be 这 种 写法 是 很 让 人 生 厌 的 (甚至 行 不 通 )。 因 此 需要 用 到 GROUP 

















2.3.2 分 组 


























通过 GROUP BY 可 以 简单 地 完成 前 面 查询 。 使 用 GROUP BY 的 时 候 , 你 告诉 Postgres 























对 行进 行 归 类 ， 然 后 对 这 些 组 执行 一 些 聚 合 函 数 〈 如 count () )。 

















SELECT venue id, count(*) 
FROM events 
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GROUP BY venue id; 


venue id| count 


























结果 看 起 来 不 错 , 但 是 能 否 用 count () 函数 作为 结果 的 过 滤 条 件 ? 当然 可 以 。GROUP BY 
项 有 其 自己 的 过 滤 关 键 字 : HAVING。HAVING 和 WHERE 子 名 类似， 只 不 过 它 可 以 用 聚合 函 
数 作为 过 滤 条 件 (而 WHERE 不 能 )。 下 面 的 查询 找 出 最 热门 的 场地 , 它们 有 两 个 或 更 多 事件 : 






























































SELECT venue id,count(*) 

FROM events 

GROUP BY venue id 

HAVING count(*) >= 2 AND venue id IS NOT NULL; 


venue id| count 
一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 
>| 2 

















也 可 以 不 带 任 何 聚合 函数 使 用 GROUP BY。 如 果 在 一 列 上 用 SELECT...FROM... 
GROUP BY 查询 ， 就 会 得 到 所 有 不 重复 的 值 。 




















SELECT venue id FROM events GROUP BY venue id; 


























这 种 分 组 归 类 非常 常见 ， 所 以 SQL 有 一 个 更 为 简单 的 命令 ， 即 DISTINCT 关键 词 。 




















SELECT DISTINCT venue id FROM events; 














这 两 个 查询 的 结果 是 相同 的 。 


2.3.3 ”窗口 函数 




















如 果 你 曾经 在 生产 系统 中 使 用 过 关系 数据 库 ， 你 应 访 会 熟悉 
种 常见 的 SQL 元 素 , 但 窗口 函数 却 不 那么 常见 (PostgreSQL 是 少 净 
开源 数据 库 之 一 。) 


窗口 函数 与 GROUP BY 查询 是 类 似 的 ， 它 们 允许 你 对 多 行 执行 聚合 函数 。 所 不 同 的 


是 ， 窗 口 函数 允许 使 用 内 置 的 聚合 函数 ， 而 不 要 求 将 每 个 字段 分 组 成 单行 。 
如 果 试 图 不 对 title 列 分 组 ， 却 要 在 结果 显示 这 个 字段 ， 将 会 报错 。 


nn 
现 了 窗口 函数 的 































































































SELECT title, venue id, count(*) 


i 
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FROM events 
GROUP BY venue id; 
ERROR: column " 


events.title" must appear in the GROUP BY clause or \ 
be used in an aggregate function 























要 按 venue iq 对 行 计数 ， 但 是 对 于 一 个 venue iq 可 能 有 两 个 不 同 的 活动 LARP 
Club 和 Wedding Postgres 不 知道 要 显示 哪个 活动 名 。 























虽然 GROUP BY 子 句 为 每 个 匹配 的 组 返回 一 个 记录 ,而 窗 












































尔 数 却 可 以 为 每 行 返回 
一 个 不 同 的 记录 ， 图 2-8 描述 了 这 种 关系 。 让 我 们 来 看 一 个 例子 ， 这 正 是 窗口 函数 毛 能 
效 解决 的 场景 。 


SELECT venue id, count(*) SELECT venue id, count(*) 


OVER (PARTITION BY venue id) FROM events 


FROM events GROUP BY venue id 


ORDER BY venue id; ORDER BY venue id; 


venue id | count 


venue id | count 
让 人 

长 4 于 

3 包 

| 让 

| ke: 














图 2-8 窗口 函数 的 结果 不 折 郑 每 个 组 的 结果 
函数 返回 所 有 匹配 的 记录 ， 并 复制 所 有 聚合 函数 的 结果 : 





一 


窗 























SELECT title, count(*) OVER (PARTITION BY venue id) FROM events; 





我 们 倾向 于 认为 PARTITION BY 和 GROUP BY 类 似 ， 但 它 不 会 在 SELECT 属性 列表 
> 后， 再 对 结果 分 组 (从 而 将 并 成 较 少 的 行 ), 而 是 像 其 他 所 有 字段 一 样 返 回 分 组 的 
值 〈 根 据 分 组 变量 进行 计算 ， 但 其 他 方面 就 是 另 一 个 属性 )。 或 者 按 SQL 的 表达 方式 ， 它 
超越 (OVER ) 结果 集 的 分 区 ns 返回 聚合 函数 的 结果 。 




















































































































2.3.4 事务 


业 





事务 保障 了 关系 数据 库 的 一 致 性 


[Lo 








旺 








事务 的 准则 是 ， 要 么 全 部 成 功 ， 要 么 全 部 失败 。 事 
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务 确保 一 组 命令 中 的 每 一 条 命令 都 执行 。 如 果 过 程 中 间 发 生 了 任何 失败 ， 所 有 的 命令 将 回 
滚 ， 就 像 它们 从 未 发 生 过 一 样 。 

PostgreSQL 的 事务 遵循 ACID， 它 代表 原子 性 〈Atomic， 所 有 的 操作 都 成 功 或 都 没有 
做 )， 一 致 性 〈Consistent， 数 据 将 始终 处 于 完整 的 状态 ， 没 有 不 一 致 的 状态 )， 隔 离 性 
(Isolated， 事 务 互 相 之 间 不 干扰 )， 以 及 持久 性 (Durable， 即 使 在 服务 器 骨 江 以后， 提交 
的 事务 都 是 安全 的 )。 我 们 应 该 注意 ，ACID 中 的 一 致 性 不 同 于 CAP 中 的 一 致 性 〈 附 录 B 
介绍 了 CAP 理论 )。 































































































可 以 将 任何 事务 的 命令 置 于 BEGIN TRANSACTION 块 内 。 为 了 验证 原子 性 ， 将 使 用 
ROLLBACK 命令 终止 事务 。 





























BEGIN TRANSACTION 
DELETE FROM events; 

ROLLBACK; 

SELECT * FROM events; 





























event 表 里 的 所 有 的 活动 依然 存在 。 如 果 要 修改 两 个 表 ， 并 希望 它们 保持 同步 ， 事务 就 
很 有 用 。 最 典型 的 例子 是 一 个 银行 借 记 / 贷 记 系 统 ， 其 中 钱 从 一 个 账户 转移 到 另 一 个 账户 : 













































































BEGIN TRANSACTION 
UPDATE account SET total=total+5000.0 WHERE account id=1337; 
UPDATE account SET total=total-5000.0 WHERE account id=45887; 
END 





在 MySQL 中 的 GROUP BY 

在 MySQL 中 ， 如 果 你 试图 SELECT 一 些 没 有 在 GROUP BY 中 限定 的 列 ， 你 可 能 会 吃 
惊 地 看 到 ， 它 有 结果 。 这 让 我 们 开始 怀疑 窗口 函数 的 必要 性 。 但 更 细致 地 检查 MySQL 
返回 的 数据 之 后 ， 我 们 发 现 它 返 回 的 只 是 一 些 随 机 的 数据 行 和 计数 ， 并 非 所 有 相关 的 
结果 。 一 般 来 说 ， 这 是 没有 用 的 (并 且 可 能 相当 危险 )。 


不 可 避免 的 事务 

到 现在 为 止 , 在 psql 中 执行 的 每 条 命令 都 隐 式 地 包 训 在 事务 中 。 如 果 你 执行 一 条 命令 ， 
如 DELETE FROM account WHERE total < 20;, 并 且 数 据 库 在 删除 的 中 途 崩 涡 , 你 不 会 
被 迫 接受 半 张 表 。 当 你 重新 启动 数据 库 服务 器 时 ， 该 命令 将 回 滚 。 





如 果 在 两 次 更 新 之 间 发 生意 外 ,这 家 银行 就 会 损失 5000 美元 。 但是， 如 果 操 作 放 在 一 
个 事务 块 中 ， 即 使 服务 器 爆炸 了 ， 最 初 的 更 新 也 会 被 回 深 。 
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厂商 锁定 是 什么 

在 关系 数据 库 的 全 盛 时 期 ， 厂 商 锁定 是 技术 方面 的 瑞士 军刀 。 可 以 在 数据 库 中 存储 几乎 任 
何 内 容 ， 甚 至 用 它们 对 整个 项 目 编程 (例如 ，Microsoft Access )。 少 数 提供 这 个 软件 的 公司 
鼓励 用 户 使 用 它们 专 有 的 差异 ， 然 后 利用 这 种 公司 依赖 性 ， 收 取 巨 额 的 许可 证 和 咨询 费 。 
这 就 是 可 怕 的 厂商 锁定 , 在 20 世纪 90 年 代 和 21 世纪 初 , 新 的 编程 方法 试图 缓解 这 种 情况 。 
然而 ， 在 他 们 热衷 于 保持 厂商 中 立时 ， 产 生 了 一 些 准 则 ， 如 “数据 库 中 不 含 远 辑 ”。 这 
是 一 种 耻 原 ， 因 为 关系 数据 库 能 够 胜任 多 种 不 同 的 数据 管理 方式 。 厂 商 锁定 并 没有 消 
失 。 本 书 探 讨 的 许多 动作 与 具体 实现 高 度 相 关 。 但 是 ， 先 要 知道 如 何 充分 使 用 数据 库 ， 
然后 再 决定 是 否 跳 过 存储 过 程 这 样 的 工具 。 


2.3.5 “存储 过 程 











到 现在 为 上 上， 我 们 看 到 的 每 条 命令 都 是 声明 性 的 ， 但 有 时 我 们 需要 运行 一 些 代 码 。 这 
时 你 必须 做 出 决定 : 在 客户 端 执 行 代 码 ， 还 是 在 数据 库 端 执行 代码 。 





















































存储 过 程 可 以 通过 巨大 的 架构 代价 来 取得 巨大 的 性 能 优势 。 使 用 存储 过 程 可 以 避免 将 
数 千 行 数据 发 送 到 客户 端 应 用 程序 ， 但 也 让 应 用 程序 代码 与 该 数据 库 绑 定 ， 因 此 ， 不 应 该 
轻易 决定 使 用 存储 过 程 。 






























































先 把 上 面 的 警告 放 在 一 边 , 来 创建 一 个 过 程 (或 FUNCTION), 它 简化 了 向 event 表 插 
入 记录 的 工作 ， 无需 venue igd， 就 可 以 插入 在 某 个 场地 举行 的 活动 。 如 果 场 地 不 存在 ， 
会 先 创建 它 ， 并 在 新 的 事件 中 引用 它 。 此 外 ， 为 了 用 户 友 好 ， 函 数 会 返回 一 个 布尔 值 ， 表 
明 添加 新 场地 是 否 成 功 。 






























































postgres/add event.sql 
CREATE OR REPLACE FUNCTION add event (i title text, i starts timestamp, 
i_ends timestamp, venue text, postal varchar (9), country char(2) ) 
RETURNS boolean AS $$ 
DECLARE 
did insert boolean := false; 
found count integer; 
the venue id integer; 
BEGIN 
SELECT venue id INTO the venue id 
FROM venues Vv 


WHERE v.postal code=postal AND v.country code=country AND v.name ILIKE venue 
JTLTMIT. 1s 


IF the venue id IS NULL THEN 
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选择 执行 数据 库 代 码 
本 书 将 多 次 探讨 这 个 主题 ， 这 是 第 一 次 : 代码 属于 应 用 程序 还 是 属于 数据 库 ? 这 是 一 
个 国难 的 决定 ， 对 每 个 应 用 程序 ， 你 都 会 有 不 同 的 答案 。 


好 处 是 性 能 常常 会 提高 一 个 数量 级 。 例 如 ， 你 可 能 有 一 个 复杂 的 、 应 用 程序 相关 的 计 
算 ， 要 求 自 定义 代码 。 如 果 计 算 涉 及 许多 行 数 据 ， 存 储 过 程 让 你 不 必 传输 数 千 行 数据 ， 
只 要 传 一 个 结果 。 这 样 做 的 代价 是 审 裂 应 用 程序 ， 你 的 代码 和 测试 将 跨越 两 种 不 同 的 
编程 范式 ( 客户 端 和 服务 器 )。 





INSERT INTO venues (name, postal code, country_ code) 
VALUES (venue, postal, country) 
RETURNING venue id INTO the venue igd; 


did insert := true; 
END IF; 


-- Note: not an"error",as in some programming languages 
RAISE NOTICE ‘Venue found 8%', the venue id; 


INSERT INTO events (i title, i starts, i ends, i venue id) 
VALUES (title, starts, ends, the venue id); 


RETURN did insert; 
END; 
$$ LANGUAGE plpgsql; 

















如 果 你 不 喜欢 用 键盘 输入 所 有 的 代码 ， 通 过 以 下 命令 行 参数 ， 可 以 将 这 个 外 部 文件 导 
入 当前 数据 库 。 























book=# \i aaa event.sqgl 

















因为 这 是 第 一 次 使 用 场地 Run's House， 下面 的 操作 应 该 返回 t (成 功 )。 它 只 有 一 次 往 
返 ， 这 避免 了 客户 端 SQL 命令 到 数据 库 的 两 次 往返 〈 一 次 查询 ， 然 后 是 一 次 插入 )。 























SELECT aqdq_event ('House Party', '2012-05-03 23:00", 
'2012=05=04. .002500"; VRun's ODSGT 9720005 六 有 SS 




















在 我 们 所 写 的 存储 过 程 中 使 用 的 语言 是 PL/pgSQL ( 即 Procedural Language/ 
PostgreSQL)。 人 全面 介 绍 其 细节 超出 了 本 书 的 范围 ， 但 是 你 可 以 在 PostgreSQL 的 官方 在 线 文 
档 ! 中 看 到 更 多 有 关内 容 。 


除了 PL/pgSQL，PostgreSQL 还 文 持 三 种 更 核心 的 语言 编写 程序 : Tcl、Perl 和 Python 。 
社区 还 开发 了 Ruby、Java、PHP、Scheme， 以 及 官方 文档 列 出 的 十 多 种 语言 的 扩展 模块 。 























Ea 





















































! http:/www.PostgreSQL.org/docs/9.0/static/plpgsql.html 
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试 试 这 个 shell 命令 : 





$ createlang book --list 





它 会 列 出 在 你 的 数据 库 中 安装 的 语言 ，createlang 命 令 也 可 以 用 来 添加 新 的 语言 。 
可 以 在 线 找到 该 命令 。， 








2.3.6 触发 器 








当 插 入 或 更 新 这 样 的 事件 发 生 时 ， 触 发 器 会 自动 调用 存储 过 程 。 它 们 允许 数据 库 在 数 
据 变化 的 时 候 ， 强 制 执行 一 些 必要 的 操作 。 


























下 面 创建 一 个 新 的 PL/pgSQL 函数 ， 当 活动 信息 event 更 新 的 时 候 , 都 会 记录 相应 的 
志 〔 我 们 想 要 确保 没有 人 改变 事件 之 后 又 不 承认 )。 首 先 , 创建 一 个 1ogs 表 以 记录 活动 
县 的 变化 ， 这 里 没有 必要 使 用 主键 ， 因 为 这 只 是 日 志 。 









































了 1 







































































CREATE TABLE logs ( 
event id integer, 
old title varchar (255)， 
old starts timestamp, 
old ends timestamp, 
logged at timestamp DEFAULT current timestamp 














接 下 来 ， 创 建 一 个 函数 ， 将 更 新 前 的 数据 写 入 日 志 。OLD 变量 代表 更 新 前 的 行 〈 我 们 
将 很 快 就 会 看 到 NEW 代表 新 输入 的 行 的 值 )。 在 返回 之 前 ， 在 屏幕 上 输出 一 条 带 


event id 的 信息 。 












































postgres/log event.sql 
CREATE OR REPLACE FUNCTION log event() RETURNS trigger AS $$ 
DECLARE 
BEGIN 
INSERT INTO logs (event id, old title, old starts, old ends) 
VALUES (OLD.event id, OLD.title, OLD.starts, OLD.ends); 


RAISE NOTICE 'Someone just changed event #%', OLD.event id; 
RETURN NEW; 


END; 
$$ LANGUAGE plpgsql; 





! http:/www.PostgreSQL.org/docs/9.0/static/app-createlang.html 
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最 后 ， 创 建 触 发 器 ， 可 以 在 任意 行 更 新 后 记录 相应 变更 。 


























CREATE TRIGGER log events 
AFTER UPDATE ON events 
FOR EACH ROW EXECUTE PROCEDURE log event (); 


























现在 ， 我 们 在 Run’s House 的 聚会 将 比 计 划 的 提前 结束 。 下 面 更 新 这 个 事件 。 











UPDATE events 
SET ends="'2012-05-04 01:00:00"' 
WHERE title='House Party'; 


NOTICE: Someone just changed event #9 

















而 且 原 来 的 结束 时 间 记 入 了 日 志 。 














SELECT event id, old title, old ends, logged at 
FROM logs; 


event id | old title | old_ends | logged at 
一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
9 | House Party| 2012-05-04 02:00:00 | 2011-02-26 15:50:31.939 























触发 器 还 可 以 在 更 新 之 前 以 及 插入 之 前 或 之 后 创建 。， 








2.3.7 视图 

















如 果 复 杂 查 询 的 结果 用 起 来 就 像 其 他 任何 表 一 样 ， 那 岂 不 是 太 棒 了 ? 这 就 是 VIEW 的 
用 途 。 与 存储 过 程 不 同 ， 它 们 不 是 执行 的 函数 ， 而 是 查询 的 别名 。 


在 我 们 的 数据 库 中 ， 所 有 节日 都 包含 单词 Day， 并 且 没 有 场地 信息 。 







































































postgres/holiday view 1.sql 

CREATE VIEW holidays AS 
SELECT event id AS holiday id, title AS name, starts AS date 
FROM events 
WHERE title LIKE ' ssDaygs' AND venue id IS NULL; 

















可 以 看 到 , 创建 视图 很 简单 ， 只 要 在 查询 前 面 加 上 “CREATE VIEW some view_name AS”。 


现在 ， 可 以 像 查 询 任何 其 他 表 一 样 查询 nolidays， 其 后 面 是 普通 不 过 的 events 表 。 
作为 证 明 , 癌 events 添 加 2012-02-14 的 情人 节 (CValentines Day), 并 查询 节日 视图 holiqays。 































































































! http:/www.PostgreSQL.org/docs/9.0/static/triggers.htmla 
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SELECT name，to_char (date， ' Month DD, YYYY') AS date 
FROM holidays 


WHERE date <= '2012-04-01'; 
name 


April Fools Day 
Valentine’s Day 


April 017 "这 0.12 
February 14,2012 




















视图 是 强大 的 工具 ， 它 可 以 以 一 种 简单 的 方式 访问 复杂 查询 的 数据 。 下 面 的 查询 可 能 
非常 复杂 ， 但 是 你 看 到 的 全 部 只 是 一 张 表 。 


























如 果 你 想 在 视图 中 添加 一 个 新 列 ， 那 么 ， 你 只 能 修改 底层 的 表 。 修 改 events 表 ， 使 
它 有 一 组 相关 的 颜色 。 


























ALTER TABLE events 
ADD colors text ARRAY; 

















两 


因为 holidays 有 与 它们 相关 联 的 颜色 组 ， 那 我 们 就 修改 视图 的 查询 ， 以 包含 colors 
数组 。 

















CREATE OR REPLACE VIEW holidays AS 


SELECT event id AS holiday id, title AS name, starts AS date, colors 
FROM events 


WHERE title LIKE ' ssDayg' AND venue id IS NULL; 














现在 要 为 选 定 的 节日 设置 一 个 颜色 字符 中 

















数组 , 但 遗憾 的 是 , 我 们 不 能 直接 更 新 视图 。 














UPDATE holidays SET colors = '{"red", "green"}' Where name = 'Christmas Day'; 


ERROR: cannot update a view 


HINT: You need an unconditional ON UPDATE DO INSTEAD rule. 








看 起 来 需要 一 条 规则 。 


2.3.8 规则 是 什么 


规则 是 对 如 何 修 改 解析 过 的 查询 树 的 描述 。Postgres 每 次 运行 一 条 SQL 语句 ， 它 将 语 
名 解析 成 查询 树 〈 一 般 称 为 抽象 语法 树 )。 



































树 的 校 和 叶 是 运算 符 和 值 ， 在 执行 前 ， 树 会 被 裔 历 、 删 减 ， 并 以 划 
可 以 被 Postgres 规则 重 写 ， 然 后 发 送 到 查询 规划 器 〈 它 也 以 菜 种 方式 避 
化 性 能 运行 效果 )， 最 后 会 把 最 终 的 命令 发 送 到 执行 器 。 参 见 图 2-9。 


他 方式 修改 。 这 棵 树 
写 这 棵 树 ， 以 达到 优 






































需要 找 出 的 是 ， 诸 如 holiqays 这 样 的 视图 其 实 就 是 一 条 规则 。 


2.3 第 2 天 : 高 级 查询 、 代 码 和 规则 29 


SQL 
字符 串 








postgres 服务 器 






将 SQL 字符 串 








转换 为 查询 树 根据 规则 修改 查询 树 在 执行 之 前 优化 查询 
个 
查询 树 


用 户 定义 的 ed 
~ 
视图 


图 2-9 在 PostgreSQL 中 SQL 如 何 执 行 


用 EXPLAIN 命令 看 一 看 holidays 视图 的 执行 计划 ， 我 们 可 以 证 明 这 一 点 (注意 ， 
Filter 是 WHERE 子 句 ，Output 为 列 的 列表 )。 


















































EXPLAIN VERBOSE 
SELECT * 
FROM holidays; 


QUERY PLAN 
Seq Scan on public.events (cost=0.00..1.04 rows=1 width=57) 
Output: events.event id, events.title, events.starts, events.colors 
Filter: ((events.venue id IS NULL)AND ((events.title)::text~~ '%Day%$'::text)) 



































如 果 对 定义 holidays 视图 的 查询 语句 执行 EXPLAIN VERBOSE， 并 和 上 述 结果 比 
较 ， 我 们 会 发 现 它 们 在 功能 上 是 等 价 的 。 














EXPLAIN VERBOSE 
SELECT event id AS holiday id 
title AS name, starts AS date, colors 
FROM events 
WHERE title LIKE ' ssDaygs' AND venue id IS NULL; 
QUERY PLAN 


Seq Scan on public.events (cost=0.00..1.04 rows=1 width=57) 
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Output: event id, title, starts, colors 
Filter: ((events.venue id IS NULL)AND ((events.title)::text~~ '%Day%®'::text) 








所 以 , 为 了 允许 更 新 noligays 视图 , 需要 定义 一 条 规则 , 告诉 PostgreSQL 在 UPDAT] 
的 时 候 做 什么 操作 。 规 则 将 捕捉 对 nolidays 视图 的 更 新 ， 从 NEW 与 OLD 的 伪 关 系 取 值 ， 
并 在 events 上 执行 更 新 。NEW 看 作 是 包含 即将 更 新 的 值 的 表 ， 而 OLD 则 是 包含 查询 的 值 。 





[ea] 
















































































postgres/create rule.sql 
CREATE RULE update holidays AS ON UPDATE TO holidays DO INSTEAD 
UPDATE events 
SET title = NEW.name, 
starts = NEW.date, 
colors = NEW.colors 
WHERE title = OLD.name; 








有 了 这 条 规则 ， 现 在 可 以 直接 更 新 nolidays。 














UPDATE holidays SET colors = 'f{"red","green"}' Where name = 'Christmas Day'; 








接 下 来 将 2013-01-01 的 New Years Day 插入 holigdays 中 。 正 如 我 们 所 料 ， 这 也 需要 
一 条 规则 。 没 有 问题 。 








CREATE RULE insert holidays AS ON INSERT TO holidays DO INSTEAD 
INSERT INTO ... 


























我 们 即将 讨论 其 他 内 容 ， 但 是 如 果 你 想 多 练习 RULE 的 用 法 ， 可 以 尝试 添加 DELETE 
RULE。 





2.3.9 联 表 分 析 


作为 今天 最 后 的 练习 ， 下 面 将 要 建立 一 个 事件 月 历 ， 对 一 年 中 各 月 发 生 的 事件 计数 。 
这 种 操作 通常 由 一 个 数据 透视 表 (pivot table) 完成 。 这 些 构造 以 另外 某 种 输出 为 “中 心 ”， 
对 数据 分 组 。 在 例子 中 ,中 心 是 月 份 列表 。 我 们 将 使 用 crosstab () 函数 创建 数据 透视 表 。 


首先 设计 一 个 查询 , 来 统计 每 年 中 每 月 里 的 事件 数量 。 PostgreSQL 提供 了 extract() 
函数 ， 它 返回 日 期 或 时 间 戳 的 某 些 部 分 ， 我 们 利用 它 来 对 事件 进行 归 类 。 
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SELECT extract (year from starts) as year, 
extract (month from starts) as month, count (*) 

FROM events 

GROUP BY year, month; 
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为 了 使 用 crosstab () ， 碍 询 必 须 返 回 三 列 : rowid、category 和 value。 我 们 
将 把 year 作为 一 个 ID， 这 意味 着 其 他 域 是 类 别 〈 月 ) 和 值 (计数)。 


crosstab () 函数 需要 另 一 组 值 代表 月 。 根 据 这 组 值 ， 该 函数 知道 需要 多 少 列 。 这 组 
值 将 成 为 列 〈 透 视 所 依据 的 表 )。 现 在 ， 我 们 创建 一 张 表 ， 存 储 临 时 的 数字 列表 。 

























































































CREATE TEMPORARY TABLE month count (month INT); 
INSERT INTO month count VALUES (1), (2), (3), (4), (5), (6), (7), (8), (9), (10), (11), (12); 

















现在 ， 我 们 准备 好 以 两 个 查询 来 调用 crosstab () 。 


























SELECT * FROM crosstab ( 
'SELECT extract (year from starts) as year, 
extract (month from starts) as month, count(*) 
FROM events 
GROUP BY year, month', 
'SELECT * FROM month _ count' 


加 


RROR: a column definition list is required for functions returning "record" 








粳 糕 ， 发 生 错 误 了 。 


































































































它 可 能 看 起 来 神秘 ， 其 实 它 是 在 说 ， 该 函数 返回 一 组 记录 《〈 行 )， 但 不 知道 如 何 标记 它 
们 。 事 实 上 ， 它 甚至 不 知道 它们 是 什么 样 的 数据 类 型 。 

请 记 住 ， 数 据 透视 表 使 用 月 份 作 为 类 别 ， 但 这 些 月 份 只 是 整数 。 所 以 ， 这 样 定义 
它们 : 

SELECT * FROM crosstab ( 


‘SELECT extract (year from starts) as year, 
extract (month from starts) as month, count(*) 
FROM events 
GROUP BY year, month', 
'SELECT * FROM month count' 
) AS ( 
year int, 
Jan int, feb int, mar int, apr int, may int, jun int, 
jul int, aug int, sep int, oct int, nov int, dec int 
) ORDER BY YEAR; 











o 


有 一 个 year 列 〈 这 是 行 ID) 和 12 个 代表 月 份 的 列 


year | jan | feb | mar | apr | may | jun | jul aug | sep | oct | nov | dec 
-一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 
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为 了 要 看 到 下 一 年 的 事件 计数 ， 在 另 一 年 里 增加 更 多 的 事件 。 再 次 运行 crosstab () 
函数 ， 再 看 看 你 的 大 作 。 




















2.3.10 第 2 天 总 结 








今天 完成 了 PostgreSQL 的 基础 内 容 。 我 们 开始 看 到 ,PostgreSQL 不 仅仅 是 一 个 存 
储 和 查询 简单 数据 类 型 的 服务 器 ;， 它 还 是 一 个 数据 管理 引擎 ， 可 以 重新 格式 化 输出 
数据 、 存 储 各 种 数据 类 型 〈 如 数组 )、 执 行 逻辑 ， 并 提供 足够 的 能 力 来 重 写 传 入 的 
查询 。 


第 2 天 作业 
求索 
1. 在 PostgreSQL 文档 中 找到 聚合 函数 列表 。 


2. 找到 一 个 与 PostgreSQL 进行 交互 的 GUI 程序 ， 例 如 Navicat。 













































































实践 
1， 创建 一 条 规则 ， 把 对 场地 的 删除 ， 改 为 将 active 标志 (在 第 1 天 作业 中 创建 的 ) 设 
置 为 FALSE。 



































2. 临时 表 不 是 实现 事件 月 历数 据 透 视 表 的 最 好 方式 。generate_series (arb) 函 
数 返回 一 组 ， 从 a 到 b 的 记录 。 用 它 来 替换 month_count 表 的 SELECT。 


3. 建立 一 个 数据 透视 表 ， 显 示 在 单个 月 份 中 的 每 一 天 ， 像 一 个 标准 的 单 月 日 历 那 
样 ， 其 中 这 个 月 的 每 个 星期 是 一 行 ， 每 一 天 的 名 字 作 为 表 头 〈 七 天 ， 从 周 日 开 
台 ， 到 周 六 结束 )。 每 天 应 包含 该 日 期 的 事件 数量 ， 如 果 没 有 事件 发 生 ， 该 天 应 
保持 空 


2.4 第 3 天 : 全 文 检索 和 多 维 查 询 


第 3 天 我 们 将 要 学 习 如 何 使 用 多 个 工具 ， 建 立 一 个 电影 查询 系统 。 首 先 ， 使 用 
PostgreSQL 自 带 的 多 种 模糊 字 串 匹配 功能 ， 搜 索 演 员 / 电 影 的 名 字 。 然 后 ， 创 建 一 个 根据 我 
们 喜欢 电影 的 风格 进行 推荐 的 系统 ， 以 学 习 cube 扩展 模块 。 所 有 这 些 都 是 PostgreSQL 特 
有 的 扩展 模块 ， 不 是 SQL 标准 定义 的 内 容 。 




















































































































































































































在 设计 关系 数据 库 的 数据 模式 时 , 通常 会 从 实体 关系 图 开始 。 对 将 要 创建 的 管理 
电影 风格 和 演员 的 个 人 电影 推荐 系统 ， 建 立 如 图 





be 
[ 











提醒 一 下 ， 在 第 1 天 ， 我 们 安装 了 几 个 扩展 模块 。 今 天 我 们 会 全 部 用 到 。 我 们 需 
到 的 扩展 模块 列表 如 下 :tab] 


2.4 





























movies 


*movie_id 

title 

genresl|] 
VW 








*actor_id 
name 


图 2-10 电影 推荐 系统 
















































































上 设置 一 个 UNIQUE 约束 ， 以 避免 重复 的 联接 值 。 
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2-10 的 实体 模型 。 


name 
position 


























了 王 
x 





lefunc\dict xsyn、fuzzystrmatch、pg trgm 和 cube。 














首先 创建 数据 库 。 一 般 来 说 ， 最 好 在 外 键 上 创建 索引 以 加 快 反问 查找 (如 通过 演员 信 
息 ， 反 向 查找 到 其 参 演 的 所 有 电影 )。 除 此 之 外 也 需要 在 movies_actors 这 样 的 联接 表 





postgres/create movies.sql 


CREATE 


CREATE 


CREATE 


TABLE genres ( 
name text UNIQUE, 
position integer 


TABLE movies ( 
movie id SERIAL PRIMARY KEY, 
title text, 


genre cube 


TABLE actors ( 
actor id SERIAL PRIMARY KEY, 


name text 


TABLE movies actors ( 

movie id integer REFERENCES movies NOT NULL, 
actor id integer REFERENCES actors NOT NULL, 
UNIQUE (movie id, actor id) 


INDEX movies actors movie id ON movies actors 


(movie id); 
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CREATE INDEX movies actors actor id ON movies actors (actor id); 
CREATE INDEX movies genres cube ON movies USING gist (genre); 





你 也 可 以 下 载 本 了 








配套 的 movies data.sqgql 





























关 的 表 。 关 于 genre cube 的 任何 问题 ， 将 在 本 节 稍 后 讨论 。 


2.4.1 模糊 搜索 


系统 能 够 支持 文本 检索 功能 ,就 意味 系统 要 面 对 不 胡 
of Frankstein” 这 样 的 错别字 。 有 了 时候 ， 用 户 可 能 不 记得 “J. Roberts” 的 全 名 。 

































































我 们 只 是 不 知道 如 何 拼 写 “Benn Aflek”。 我 们 会 看 到 通过 一 些 PostgreSQL 扩 展 包 ， 可 


文 检 索 变 得 方便 。 值 得 注意 的 是 ， 随 着 讨论 的 
和 Lucenel 这 样 的 搜索 和 





























匡 架 之 间 的 差异 。 虽 然 有 些 人 可 能 会 觉得 全 文 搜索 这 样 的 功能 




















深入 ， 这 种 字符 串 匹 配 的 功能 模糊 了 关系 查询 





芭 本 ， 并 将 其 导入 到 数据 库 来 创建 相 


角 切 的 输入 。 你 必须 能 够 接受 “Brid 
在 为 一 些 时 候 ， 


以 使 全 

















蚤 二 心 


用 程序 代码 ， 但 将 这 些 扩展 模块 放 到 存放 数据 的 数据 库 中 ， 可 以 带 来 性 能 和 管理 上 的 好 处 。 








2.4.2 SQL 标准 的 字符 串 匹配 











PostgreSQL 有 很 多 方法 进行 文本 匹配 ， 但 两 大 默认 方法 是 LIKE 和 正则 表达 式 


1. LIKE 和 ILIKE 


LIKE 和 ILIKI 





已 〈 不 区 分 大 小 写 的 LIKI 























据 库 中 是 相当 普遍 的 。LIKI 

















Ee) 是 文本 搜索 最 简单 的 形式 。 它 们 在 关系 数 


E 比较 列 值 和 给 定 的 模式 字符 串 。% 和 字符 是 通配符 。% 表 示 匹 

















配 任 意 数 量 的 任何 字符 ， 而 


























表示 只 匹配 一 个 字符 。 





SELECT title FROM movies WHERE title ILIKE 'stardust®'; 








Stardust 


Stardust Memories 














有 个 小 技巧 ， 如 果 想 确 











保 子 串 stardust 不 在 字符 串 的 末尾 ， 可 以 使 用 下 划 线 (_) 











Uw 


子 付 。 





SELECT title FROM movies WHERE title ILIKE 'stardust %'; 


title 


Stardust 


Stardust Memories 





! http://lucene.apache.org/ 























2， 正 则 表达 式 


更 强大 的 
中 





达 式 在 本 
编写 强大 的 
POSIX 风格 








在 Postgres 引 
不 匹配 ) 和 * 《〈 意 ， 
小 写 )， 可 以 用 下 1 


人 


兴 ' 沿 ， 


常常 





| 
L 


bb 现 。 





J 














的 了 





























虽然 在 简单 的 场景 下 ， 这 个 功能 非常 有 用 ， 但 是 ZIKE 





字符 串 匹 配 语法 是 正则 表达 式 (regex)。 
E 则 表达 式 涉及 的 内 容 很 广 ] 
达 式 。 所 以 本 书 很 难 
E 则 表达 式 。 


， 正 则 表达 式 的 匹配 字 串 由 ~ 

















轧 是 不 


区 分 大 小 写 )。 因 














掉 的 查询 。 匹 配 字 符 串 内 的 





此 ， 


tA 


了 玫 何 : 
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口 


A 人 AN 




















日 于 简单 的 通配符 。 


台 马 
月 





因为 许多 数据 库 都 支持 它们 正则 表 
日 复杂 甚至 还 有 一 些 书 专门 介绍 如 何 
































对 这 方面 内 容 深入 讨论 。PostgreSQL (基本 上 ) 采用 























运算 符 开始 ,还 可 以 带 有 可 选 的 ! (意思 是 
要 统计 所 有 不 以 the 开始 的 电影 不 区 分 大 
是 正则 表达 式 。. 





























SELECT COU 


NT(*)FROM movies WHERE title !~* 


he 





口 








杀生 


们 





JU 












































前 面 查 询 的 模式 创建 字符 串 索 引 ， 方 法 是 创建 一 个 text_pattern_ops 
类 索引 ， 只 要 值 以 小 写 形 式 索引 。 





CREATE INDEX movies title _ pattern ON movies 


(lower (title) text pattern ops); 





因 





为 标题 是 文本 类 型 ， 所 以 


varchar、char 或 name 类 型 的 字 虽 





人 有 





了 text Pattern ops 类 型 的 索引 。 如 果 需 要 对 




















进行 索引 ， 可 以 使 月 





下 面 的 类 型 : varchar _ pattern ops、 


bpchar pattern ops 和 name pattern ops。 




































































2.4.3 ”字符 串 相似 比较 算法 levenshtein 

levenshtein 是 一 个 字符 串 比 较 算 法 ， 它 能 够 计算 一 个 字符 串 需要 经 过 多 少 步 才 能 变 成 
另 一 个 字符 串 ， 从 而 可 以 比较 两 个 字符 串 的 相似 程度 。 变 换 过 程 中 ， 每 个 被 奉 换 的 、 缺 失 
的 或 多 出 来 的 字符 算 作 一 个 步骤 ， 所 有 步骤 的 和 算 作 是 两 个 字符 串 的 距离 。 在 PostgreSQL 
中 ，levenshtein() 函数 由 fuzzystrmatch 扩展 模块 提供 。 

假设 有 字符 串 bat 和 字符 串 fads。 











SELECT levenshtein('bat', 


"faas' 


); 











因为 fads 与 字符 是 
每 变换 一 次 吕 
步 ， 字 串 的 距离 会 交 短 ， 








、\ 主 


通 

















过 变换 ,时 


E 离 最 后 








bat 相 比 ， 蔡 换 了 两 个 字母 (b=>f， 人 >d)， 添 加 了 一 个 字母 (+s)， 
E 离 就 会 递增 ， 所 以 它们 间 的 levenshtein 吕 








E 离 是 3。 我 们 可 以 看 到 ， 每 变换 一 
会 逐步 减少 到 零 〈 即 两 个 字符 串 变 成 一 样 )。 








SELECT levenshtein('bat', 


'fad') 


fady 


36 第 2 章 PostgreSQL 
levenshtein('bat', ‘'fat') fat, 
levenshtein('bat', ‘'bat') bat; 

fad | fat | bat 
一 一 一 一 一 十 一 一 一 一 一 十 一 一 一 一 一 
2 1 | 0 




















大 小 写 的 变化 也 算是 一 个 步骤 ， 所 以 比较 的 时 候 最 好 把 所 有 字符 串 转 为 相同 的 大 小 写 。 





SELECT movie id, title FROM movies 


WHERE levenshtein(lower (title), 


lower(' 


a hard day nght') 


<= 3; 
























































movie id title 

“之 i Hard Day’s Night 

这 确保 只 有 细微 的 差别 的 字符 串 不 会 算 成 有 很 长 的 距离 。 
2.4.4 三 连词 

三 连词 (trigram) 是 从 一 个 字符 串 中 取出 包含 三 个 连续 字符 的 词 。pg_tzgm 扩展 模块 
可 以 将 一 个 字符 串 分 解 为 尽 可 能 多 的 三 连词 。 

SELECT show trgm( "Avatar')， 


Show_trgm 


m nm 
a 


vy a 


ata avas tar, 


vat} 





找到 一 个 匹配 的 字符 串 的 过 程 可 




















最 多 的 字符 串 


就 是 最 相似 的 。 对 





种 查 











Tree, GIST] 》 











询 方法 是 非常 有 用 的 。 字 符 串 越 长 ， 三 字 i 


P= 


于 容忍 小 的 拼 





适合 长 度 相近 的 电影 片 名 这 样 的 查询 
首先 , 将 对 电影 的 名 字 创 建 三 


连 








词 索 引 
这 是 由 PostgreSQL 引擎 提供 的 一 

















以 简化 ， 只 需要 统计 匹配 的 三 5 
写 错误 、 甚 至 
司 就 越 多 ， 则 





o 





























人 














通 





























母 结构 个 数 。 匹 配 数 
局 掉 不 重要 的 单词 的 搜索 ， 这 
匹配 的 可 能 性 就 越 大 。 它 们 很 





















































(使 用 通用 索引 搜索 树 [Generalized Index Search 
索引 API。 





CREATE INDEX movies title trigram ON movies 


USING gist 


(title gist trgm ops); 








现在 ， 即 便 在 查询 时 带 一 点 拼写 错误 ， 仍 可 得 到 不 错 的 结果 。 





SELECT title 
EROM movies 
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WHERE title %$ 'Avatre'; 
title 


























对 于 接受 用 户 输入 的 字符 匹配 查询 ， 三 连词 无 需 考 虑 复杂 的 通配符 ， 是 最 好 的 选择 。 











2.4.5 ”全 文 检索 


























接 下 来 ， 我 们 想 让 用 户 基 于 单词 匹配 进行 全 文 检索 ， 其 中 输入 的 单词 可 能 会 是 复数 。 有 
时 候 , 用 户 要 通过 几 个 记得 的 词 搜索 电影 标题 ，Postgres 可 以 支持 简单 的 自然 语言 查询 处 理 。 


1. TSVector 和 TSQuery 








动 

























































































我 们 来 查找 名 字 中 包含 单词 night 和 day 的 电影 , 这 种 查找 是 全 文 检索 的 强项 , 我 们 可 
以 用 @@ 这 个 全 文 查询 运算 符 进 行文 本 搜索 。 
SELECT title 


EROM movies 
WHERE title QQ 'night & day'; 























A Hard Day’s Night 
Six Days Seven Nights 
Long Day’s Journey Into Night 














尽管 返回 结果 的 单词 Day 是 所 有 格 形式 ， 而 且 这 两 个 词 的 顺序 颠倒 了 ， 该 查询 返回 了 
像 《A Hard Day’s Night》 这 样 的 电影 名 。@@ 运 算 符 将 电影 名 字段 转换 成 csvector 结构 
体 ， 并 将 查询 转换 成 一 个 tsquery 结构 体 。 


tsvector 是 一 种 数据 类 型 ， 它 将 字符 串 分 解 成 单词 的 数组 〈 或 向 量 )， 再 在 输入 的 查询 
字 串 里 搜索 这 些 单词 ;而 tsquery 则 是 基于 某 种 语言 的 查询 ， 如 英语 或 法 语 。 每 种 语言 对 应 
一 个 相应 的 字典 〈 我 们 会 在 后 面 几 段 看 到 更 多 相关 内 容 )。 如 果 系 统 语言 设置 为 英语 ， 前 一 个 
查询 相当 于 下 面 的 语句 : 

































































































































































SELECT title 
FROM movies 
WHERE to tsvector (title) QQ to tsquery('english', night & day'); 








你 可 以 看 一 看 ， 通 过 在 字符 串 上 彻底 运行 转换 函数 ， 向 量 和 查询 如 何 将 值 分 开 。 























SELECT to tsvector (' Hard Day''s Night'), to tsquery('english', ‘night & day'); 
to tsvector | to tsquery 
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一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
‘day':3 'hard':2 'night':5 | 'night' & 'day' 

















tsvector 上 的 单词 称 为 词素 (lexeme)， 同 时 它 还 包含 该 词 原 来 短语 中 的 位 置 。 


你 可 能 已 经 注意 到 , 《A Hard Day’s Night》 的 tsvector 不 包含 单词 a9， 而 且 ， 所 有 
像 a 这 样 的 简单 英文 单词 会 在 查询 的 时 候 被 忽略 。 






































SELECT * 
FROM movies 
WHERE title QQ to tsquery('english', 'a'); 


NOTICE: text-search query contains only stop words or doesn’t \ 
contain lexemes, ignored 








像 a 这 样 的 常用 词 称 为 无 用 词 (stop word)， 一 般 在 执行 查询 时 会 被 忽略 。 解析 器 会 使 
用 英语 词典 对 字符 串 整 型 ， 将 其 转换 成 有 意义 的 英语 单元 。 可 以 在 终端 屏幕 里 查看 
tsearch data 目录 下 的 英语 无 用 词 。 












































cat ‘pg _config --shareqir /tsearch_dqata/english.stop 









































我 们 也 可 以 从 列表 中 删除 a， 或 者 用 其 他 字典 〈 如 simple 字典 )， 这 个 字典 会 把 字符 
串 分 解 成 由 非 单词 字符 间隔 开 的 词 ， 并 把 它们 转 为 小 号。 比较 这 两 个 向 量 : 
























































SELECT to tsvector('english', 'A Hard Day''s Night'); 
to tovector 
aav oad :2 might 
SELECT to tsvector('simple', 'A Hard Day''s Night'); 
to tsvector 


esl a "hard 2 mio ez4 








使 用 simple 字典 可 以 查询 包含 词素 a 的 任何 电影 。 
2. 其 他 语言 


因为 Postgres 在 这 里 进行 着 某 种 自然 语言 处 理 ， 所 以 上 只 有 用 不 同 的 语言 配置 对 应 不 同 
的 语言 ， 才 有 可 能 进行 这 样 的 处 理 。 下 面 的 命令 可 以 查看 所 有 已 安装 的 语言 配置 : 




























































































book=# \dF 



































Postgres 利用 字典 生成 tsvector 词素 ， 除 了 利用 无 用 词 ， 还 用 到 其 他 前 面 没 有 提 到 的 称 
为 解析 器 〈parser) 和 模板 (template〉 的 分 词 规则 ， 可 以 通过 下 面 的 命令 查看 系统 的 规则 列表 : 









































book=# \dFq 
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还 可 以 直接 调用 ts_lexize () 函数 来 对 任何 字典 进行 测试 。 下 面 的 例子 中 ， 我 们 找 
到 字符 种 Day's 的 英语 词 干 。 














SELECT ts lexize('english stem', 'Day''s'); 


ts_ lexize 








最 后 ， 前 面 的 全 文 检索 也 适用 于 其 他 语言 。 如 果 你 安装 了 德语 字典 ， 可 以 试 试 这 个 : 














SELECT to tsvector ('9erman'， "mwas machst du gerade?'); 


to tsvector 




















因为 was (what) 和 du (you) 很 常见 , 所 以 它们 在 德语 字典 中 标记 为 无 用 词 , 而 machst 
(doing) 和 gerade (now) 被 整 型 了 。 


3.， 对 词素 索引 


全 文 检索 虽然 功能 强大 。 但 是 , 如 果 不 为 相应 的 表 建 立 索 引 , 检索 的 速度 会 很 慢 。 EXPLAIN 
命令 是 一 个 功能 强大 的 工具 ， 通 过 它 可 以 查看 数据 库 内 部 对 查询 生成 什么 样 的 计划 树 。 


















































EXPLAIN 
SELECT * 
FROM movies 
WHERE title QQ 'night & day'; 
QUERY PLAN 
Seq Scan on movies (cost=10000000000.00..10000000001.12 rows=1 width=68) 
Filter: (title QQ 'night & day'::text) 








请 注意 Seq Scan on movies 这 一 行 。 这 在 查询 中 基本 上 不 是 好 兆头 ， 因 为 它 意味 着 读 
取 表 的 每 一 行 。 因 此 ， 需 要 建立 正确 的 索引 。 


我 们 将 使 用 通用 反 向 索引 GIN (Generalized Inverted iNdex，GIN)， 对 我 们 要 查询 的 词 
素 创 建 索 引 ，GIN 和 GIST 类 似 ， 也 是 索引 的 API。 如 果 你 使 用 过 像 Lucene 或 Sphinx 这 
样 的 搜索 引擎 ， 你 会 对 反 向 索引 (inverted index) 比较 熟悉 。 它 是 一 种 常见 的 用 于 对 全 文 
检索 进行 索引 的 数据 结构 。 

























































































CREATE INDEX movies title searchable ON movies 
USING gin(to tsvector('english', title)); 
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现在 有 了 索引 ， 再 搜索 一 次 。 





EXPLAIN 
SELECT * 
FROM movies 
WHERE title QQ 'night & day'; 
QUERY PLAN 
Seq Scan on movies (cost=10000000000.00..10000000001.12 rows=1 width=68) 
Filter: (title @@ 'night & day'::text) 














看 到 了 什么 ? 什么 也 没 变 。 索 引 是 存在 的 ， 但 是 Postgres 没有 用 它 。 这 是 因为 GIN 索 
引 需 要 使 用 englLish 的 全 文 检索 配置 构造 其 tsvectors 向 量 ， 但 我 们 在 查询 里 面 没有 
指明 该 向 量 。 现 在 我 们 需要 在 查询 的 WHERE 子 句 中 指定 它 。 







































































EXPLAIN 
SELECT * 
FROM movies 
WHERE to tsvector('english',title) QQ 'night & day'; 
QUERY PLAN 
Bitmap Heap Scan on movies (cost=4.26..8.28 rows=1 width=68) 
Recheck Cond: (to tsvector('english'::regconfig, title) @@ '''day'''::tsquery) 
-> Bitmap Index Scan on movies title searchable (cost=0.00..4.26 rows=1 width=0) 
Index Cond: (to tsvector('english'::regconfig, title) QQ '''day'''::tsquery) 



























































EXPLAIN 很 重要 ， 它 可 以 确保 按 你 希望 方式 使 用 索引 。 和 否则 ， 索 引 具 是 无 谓 的 开销 。 


4. 发 音 码 metaphone 
































我 们 朝 着 匹配 不 太 具 体 的 输入 迈 出 了 一 小 步 。LIKE 和 正则 表达 式 需要 创建 匹配 模 
式 ， 根 据 模式 指定 要 求 的 格式 准确 匹配 相应 的 字符 串 。levenshtein 距离 可 以 匹配 有 微小 
拼写 错误 的 字符 串 ， 但 要 求 必须 是 非常 相似 的 字符 串 。 要 找到 合理 范围 内 的 拼写 错误 的 
匹配 ， 三 连词 是 很 好 的 选择 。 最 后 ， 全 文 检索 允许 有 自然 语言 的 灵活 性 ， 因 为 它 可 以 忽 
咯 a 和 the 这 样 不 重要 的 单词 ， 并 能 处 理 复 数 形式 。 有 了 时候, 我 们 只 是 不 知道 如 何 正确 拼 
写 单词 ， 但 是 我 们 知道 它们 的 读音 。 

















































































































































































































我 们 喜爱 布鲁斯 。 威 利 斯 (Bruce Willis)， 很 想 知 道 他 参 演 什 么 样 的 电影 。 遗 憾 的 是 ， 
我 们 筷 了 如 何 拼写 他 的 名 字 ， 所 以 我 们 只 能 尽 可 能 地 把 它 拼 写 出 来 。 

















SELECT * 
FROM actors 
WHERE name = 'Broos Wils'; 
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即使 三 连词 在 这 里 也 用 处 不 大 《使 用 $ 而 不 是 =)。 














SELECT * 
EROM actors 


WHERE name 当 'Broos Wils'; 


















































aa 


这 里 可 以 用 (metaphone )， 它 们 是 用 来 生成 代表 单词 发 音 的 发 音 码 的 算法 。 你 可 以 指 


定 输出 的 发 音 码 中 有 多 少 个 字符 ， 例 如 ，Aaron Eckhart 的 7 个 字符 的 发 音 码 是 ARNKHRT。 








为 了 找到 名 字 的 发 音像 Broos Wils 的 人 参 演 的 所 有 电影 , 可 以 在 查询 中 使 


输出 的 发 音 码 。 请 注意 ， 


















































1 metaphone 


NATURAL JOIN 是 INNER JOIN 的 一 种 ， 自 动 以 列 名 相同 的 列 进 


行 联接 (例如 ,movies.actor id= movies actors.actor id)。 





SELECT title 


FROM movies NATURAL JOIN movies actors NATURAL JOIN actors 


WHERE metaphone (name, 6) = metaphone('Broos Wils', 6); 


The Fifth Element 
Twelve Monkeys 
Armageddon 

Die Hard 

Pulp Fiction 

The Sixth Sense 





如 果 你 看 看 在 线 文档 , 会 发 现 扩展 模块 包 zzystrmatch 还 有 另外 的 函数 : dmetaphone 
( 双 发 音 码 )、dmetaphone alt () (替代 发 音 ) 和 soundex() (19 世纪 80 年 代 的 美 医 



































人 口 普查 创立 的 、 用 来 对 比 常见 的 美国 人 姓氏 的 古老 算法 )。 











可 以 输出 各 函数 的 


结果 ， 来 详 允 











研究 这 些 函 数 结 果 的 表示 方式 。 

















区 一 























SELECT name, dmetaphone (name), dmetaphone _ alt (name), 


metaphone (name, 
FROM actors; 


50 Cent 
Aaron Eckhart 


8), soundex (name) 


| dmetaphone dmetaphone alt metaphone 
一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 一 一 一 一 
| SNT SNT SNT 
| ARNK ARNK ARNKHRT 
| AKOR AKTR AKOHRL 


Agatha Hurile 


| soundex 











没有 哪个 函数 是 最 好 的 ， 根 据 你 的 数据 集 做 出 最 优化 选择 。 
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2.4.6 ”组合 使 用 字符 串 匹配 方法 




















有 用。 例如, 可 以 对 me 


























E 离 排序 结果 。 








有 了 这 些 字符 串 检 索 的 方法 ， 就 可 以 用 有 趣 的 方式 组 合 着 























来 用 。 

发 音 码 最 灵活 的 方面 之 一 是 其 输出 就 是 字符 串 。 这 让 你 能 与 其 他 字符 串 
taphone () 输出 结果 使 月 
这 意味 着 “找到 发 音 




















匹配 方法 混合 





三 连词 运算 符 , 并 按 最 短 的 Levenshtein 
像 Robin Williams 的 名 字 ， 


并 按 顺序 排列 。” 








SELECT * FROM actors 
WHERE metaphone (name, 8) 
ORDER BY levenshtein (lower('Robin Williams'), 


$ metaphone ('Robin 


Robin Williams 


actor_ id name 
4093 
2442 John Williams 
4479 





Robin Shou 


Steven Williams 


Williams',8) 


lower (name) ); 

















需要 注意 的 是 ， 结 果 并 不 完美 。Robin Williams 排 到 了 第 三 位 。 滥 用 这 种 灵活 性 可 能 
产生 其 他 有 趣 的 结果 ， 所 以 要 小 心 。 














SELECT * FROM actors WHERE dmetaphone (name ) 


actor_ id 


Renji Ishibashi 
Renée Zellweger 


9 


要 dmetaphone('Ron'); 








组 合 方式 非常 多 ， 


只 受 限于 你 的 实验 。 


2.4.7 ”把 电影 风格 表示 成 多 维 超 立 方 体 

















最 后 介绍 的 扩展 模块 是 cupe。 用 cube 数据 


个 多 维 向 量 。 然 后 在 超级 立方 
出 和 当前 电影 风格 类 似 的 所 有 
































你 可 能 注意 到 , 在 本 节 









































E 窟 | 间 |! 








的 一 个 点 ， 每 个 名 
? 因为 电影 分 类 不 是 一 门 精确 的 科学 ， 乱 





类 型 








类 型 ， 将 一 部 





电影 的 风格 类 型 映射 到 一 





























电影 的 列表 。 














EE 度 代 表 














体内 ， 通 过 一 些 方法 ， 





查询 与 给 定 





























的 点 最 接近 的 点 ， 从 而 给 








于 始 时 , 我 们 创建 了 一 个 名 为 genres 的 列 , 其 数据 类 型 是 cube， 
种 风格 。 为 什么 用 维 空 
多 电影 不 是 100% 的 喜剧 或 悲剧 ， 它 们 介 乎 其 中 。 


























间 中 的 点 代表 电影 风 
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在 系统 中 ， 基 于 某 种 电影 属于 某 种 风格 的 强度 ， 对 电影 进行 评分 ， 分 数 从 《完全 任意 


的 数字 ) 0 到 10，0 表示 完全 属于 该 风格 ，10 表示 最 强 。 


0，10，0，0，0) 。genres 向 量 表 旨 
genres.position 提取 cube_ur_coord(vector，dimension)， 解 释 它 的 风格 值 。 


为 清 下 








nr 


《星球 大 战 》(Star Wars) 的 风格 向 直 


























是 (0，7，0，0，0，0，0，0，0，7，0，0，0， 
的 值 是 向 量 中 每 个 维度 的 位 置 。 可 以 用 每 个 





















































楚 起 见 ， 我 们 过 滤 掉 得 分 0 的 风格 。 





SELECT name, 








eube ur coord( (0 Zi0r0 0 000 0 R70 O00 0 T0000 DOSition) asTSGore 
FROM genres g 
WHERE cube ur coord(' (0,7,0,0,0,0,0,0,0,7,0,0,0,0,10,0,0,0)', position) > 0; 
name score 
Adventure 7 
Fantasy 7 
SciFi 10 
只 要 找到 最 近 的 点 ， 我 们 可 以 找到 风格 相似 的 电影 。 要 理解 为 什么 这 样 是 可 行 的 ， 可 


以 看 看 图 2-11。 如 果 你 最 喜欢 的 电影 是 《动物 之 家 》(Animal House)， 你 可 能 喜欢 的 是 《四 





十 岁 


























的 老 处 男 》(The 40 Year Old Virgin)， 而 不 是 《 俄 狄 浦 斯 》(COedipus )， 因 为 它 明 显 缺 














乏 喜 剧 元 素 。 在 二 维 空间 中 ， 可 以 把 寻找 相似 的 匹配 简单 地 转化 为 最 近邻 搜索 。 









































还 可 以 推广 到 更 多 的 维度 ， 代 表 更 多 的 风格 , 如 2 维 、3 维 或 18 维 。 其 原理 是 相同 的 : 





















































最 近邻 匹配 就 是 风格 空间 中 最 近 点 ， 也 就 是 最 接近 的 风格 匹配 。 


里 ， 





> 
怠 1 。 
| ， Gone with 
| | the Wind 
| . 
1 1 
1 1 
1 1 
1 1 
1 1 
1 1 
1 
1 | The 40 Year 
1 | Old Virgin 
i et ? 
| ! Animal 
1 1 ! House 
i ed es nh ei Me hs -0 
| ; ; ! 
Comedy 


























图 2-11 二 维 风 格 图 中 的 两 部 电影 






































风格 向 量 的 最 近 匹 配 可 以 通过 cube distance (Point1，Ppoint2) 搜索 得 到 。 这 
我 们 可 以 找到 所 有 电影 到 《星球 大 战 》 的 风格 向 量 的 距离 ， 最 近 的 排 在 前 面 。 
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SELECT 


cube distance (genre, 


大 
了 


EROM movies 
ORDER BY dist; 


"(0,7,0,0,0,0,0,0,0,7,0,0,0,0,10,0,0,0)') dist 


























前 面 创建 表 时 ,创建 了 movies_genres_cube 立方 体 索引 。 然 而 ， 即 使 使 用 索引 ， 
这 个 查询 仍然 比较 缓慢 ， 因 为 它 需要 全 表 扫 描 。 它 计算 每 一 行 的 距离 ， 然 后 将 它们 排序 。 


















































与 其 每 一 个 点 都 计算 距离 ， 不 如 集中 在 一 个 比较 可 能 的 有 界 立 方 体 (bounding 


cube)， 计 算 里 面 的 点 的 距离 。] 




















地 图 上 寻找 更 快 ， 
































E 如 在 找 5 个 最 近 的 镇 的 时 候 ， 在 州 的 地 图 上 找 要 比 在 世界 
办 为 框 定 一 个 边界 的 话 ， 可 以 减少 需要 看 的 点 。 

















使 用 cube enlarge (cube，radius,，dimensions) 建立 一 个 18 维 的 立方 体 ， 其 











边 长 (半径 
二 维 正方 形 









































) 大 于 一 个 点 。 我 们 来 看 一 个 更 简单 的 例子 ， 如 果 围 绕 点 (1，1) 建立 一 个 单位 
， 正 方形 的 左下 角 是 (0，0)， 右 上 角 是 (2，2)。 























SELECT 


cube_enlLarge('(1,1)"v1v2); 


cube _ enlarge 








同样 的 























原则 适用 于 任何 维度 。 我 们 可 以 对 一 个 有 界 的 超 立 方 框 使 用 一 个 特殊 的 cube 


\ 一 信和 = 3 
运算 符 “@>” 意思 是 包含 。 


下 面 这 个 查询 已 算出 以 《星球 大 战 》(Star Wars) 的 风格 代表 的 点 为 中 心 、5 单位 立方 体内 包 
含 的 所 有 点 的 距离 。 














SELECT 


title 
Star Wars 
Star Wars: Episode V - The Empire Strikes Back 
Avatar 
Explorers 
Krull 
E.T. The Extra-Terrestrial 


titie, Cube Qistance (SEE (0;7707070070007 .72.0500a0rT00n0n0)) cdist 
FROM movies 
WHERE cube enlarge(' (0,7,0,0,0,0,0,0,0,7,0,0,0,0,10,0,0,0)'::cube, 5, 18) @> genre 
ORDER BY dist; 





5.74456264653803 
6.48074069840786 
.01577310586391 


























可 以 














个 表 ， 并 给 其 起 个 别名 )。 





EE 影 名 得 到 风格 ， 然 后 ， 直 接 执 行 针 对 该 风格 的 计算 (把 子 查 询 的 结果 当 作 一 








SELECT 


m.movie id, m.title 
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FROM movies m, (SELECT genre, title FROM movies WHERE title = 'Mad Max') s 
WHERE cube enlarge(s.genre, 5, 18) @> m.genre AND s.title <> m.title 

ORDER BY cube distance(m.genre, s.genre) 

LIMIT 10; 


movie id title 


405 Cyborg 

391 Escape from L.A. 

192 Mad Max Beyond Thunderdome 
189 Universal Soldier 

222 Soldier 

362 Johnny Mnemonic 

946 Alive 

418 Escape from New York 

877 The Last Starfighter 

445 The Rocketeer 






































虽然 这 种 电影 的 推荐 方法 并 不 完美 ， 但 它 是 一 个 好 的 开始 。 我 们 将 在 后 面 的 章节 ， 如 
在 MongoDB 中 的 二 维 地 理 搜索 (参见 5.4.3 节 )， 看 到 更 多 的 维度 查询 。 























2.4.8 第 3 天 总 结 




















今天 , 我 们 深入 体验 了 PostgreSQL 在 字符 串 搜索 方面 的 灵活 性 ,使 用 了 多 维 搜索 
的 cube 包 。 最 重要 的 是 ， 我 们 体验 了 PostgreSQL 的 一 些 非 标准 扩展 模块 ， 正 是 这 些 
扩展 让 PostgreSQL 领先 于 其 他 开源 RDBMS。 还 有 几 十 (其 至 几 百 ) 个 扩展 可 供 自 1 
使 用 ,如 从 地 理 存储 到 加 密 函 数 、 自 定义 数据 类 型 和 语言 扩展 等 。 除了 SQL 核心 能 
之 外 ， 这 些 扩展 模块 让 PostgreSQL 光芒 闪耀 。 

第 3 天 作业 

求索 

1. 从 官方 在 线 文 档 中 找到 Postgres 自 带 的 所 有 可 扩展 包 。 






































































































































2. 找到 网 上 的 POSIX 正则 表达 式 的 文档 (可 供 后 续 章 节 中 使 用 )。 








实践 
1. 创建 一 个 存储 过 程 ， 可 以 输入 你 喜欢 的 电影 或 演员 的 名 字 ， 它 根据 演员 曾 主演 过 


的 或 类 似 风格 的 电影 ， 返 回 5 个 最 好 的 推荐 。 



















































































从 去 英语 的 忽略 字 )。 对 比 演员 














NS 











2. 扩展 电影 数据 库 ， 记 录用 户 的 评论 并 提取 关键 字 
姓氏 和 相关 关键 子 ， 尝 试 找到 被 谈论 最 多 的 演员 。 
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2.5 总 结 





如 果 你 没有 接触 过 太 多 关系 数据 库 的 话 ， 在 决定 放弃 它 而 采用 新 类 型 的 数据 库 之 前 ， 
我 们 强烈 建议 更 深入 地 学 习 PostgreSQL， 或 其 他 关系 数据 库 。 在 过 去 的 40 多 年 里 ， 关 系 

































































数据 库 是 大 量 学 术 研究 和 业界 改进 的 重点 ，PostgreSQL 是 受益 于 这 些 进步 的 顶级 开源 关系 








数据 库 之 一 。 





2.5.1 ”PostgreSQL 的 优点 


和 所 有 关系 模型 一 样 ，PostgreSQL 的 优势 很 多 :， 多 生 
践 使 用 ， 灵 活 的 查询 能 力 ， 非 常 一 致 和 持久 的 数据 。 在 大 多 数 编 
考验 的 Postgres 驱动 程序 。 许 多 编程 模型 ， 
ORM)， 假 定 依赖 关系 数据 库存 储 。 
对 模型 进行 查询 ， 因 为 你 总 是 可 以 执行 一 些 联 接 、 过 滤 、 视 银 


























取 想 要 的 数据 。 


PostgreSQL 很 适 























关于 邻里 的 故事 ， 在 习 






































于 “Stepford 数据 ”( 命 























遵从 于 结构 化 的 数据 定义 。 
此 外 ，PostgreSQL 还 提供 一 般 的 开源 RDBMS 产品 没有 的 功能 ， 例 如 ， 提 供 强 大 的 约 




















入 查询 的 解析 。 另 外 ， 











最 纯粹 的 开源 方式 。 没 有 任何 人 拥有 
追究 作者 的 责任 除外 )。 开 发 和 发 布 完全 是 社区 支持 的 ， 如 果 你 是 
持 者 ， 或 者 有 很 长 的 浓密 的 胡子 ， 你 应 该 尊 习 
我 总 算 把 Postgres 
服务 器 换 成 了 NOSQL 
解决 方案 


你 放弃 了 40 
年 的 行业 经 验 ， 
只 为 了 什么 ? 








一 


















束 机 制 。 你 可 以 写 自己 的 语言 扩展 ， 自 定义 索引 ， 创 建 




















究 ， 儿 乎 每 个 计算 领域 的 实 





旦 语言 中 ， 都 有 经 过 实战 































































































如 对 象 关系 映射 “(Object-Relational Mapping， 
问题 的 关键 是 联接 带 来 的 灵活 性 。 你 不 必 知 道 如 何 针 
和 索引 ， 很 可 能 总 有 办 法 提 








名 来 自 《 贤 麦 》(The Stepford Wives)， 一 个 
了 里 几乎 每 个 人 都 保持 风格 和 内 容 的 一 致 )， 即 数据 同 质 ， 且 数据 很 好 


























定义 的 数据 类 型 ， 甚 至 重 写 对 传 
其 他 的 开源 数据 库 可 能 有 复杂 的 许可 协议 ， 但 PostgreSQL 采用 的 是 
尺码 ， 任 何人 都 可 以 对 该 项 

















目 做 他 们 希望 的 任何 事情 











人 他们， 他 们 # 











酷 啊 。 你 有 多 少 
客户 ? 


现在 我 可 以 扩展 到 1 万 个 
Web 节点 ! 


算 上 你 和 我 吗 ? 

















图 2-12 ”关于 必要 | 





个 自由 软件 的 忠实 支 



































E 绝 通过 一 个 了 不 起 的 产品 赚钱 。 


QNOWda3aa 1Y3 Woze 
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2.5.2 PostgreSQL 的 缺点 








关系 数据 库 是 多 年 来 最 成 功 的 数据 库 类 型 ， 尽 管 这 一 点 无 可 否认 ， 但 在 某 些 情况 下 ， 
它 可 能 不 是 非常 适合 。 


对 于 PostgreSQL 这 样 的 关系 数据 库 来 说 ， 分 区 不 是 强项 。 如 果 需 要 水 平 扩展 而 不 是 垂 
直 扩展 《多 个 并 行 的 数据 库 而 不 是 单个 强大 的 机 器 或 集群 )， 可 能 最 好 寻找 别 的 解决 方案 。 
oo 不 是 很 容易 融入 关系 数据 库 严格 的 数据 模式 要 求 ， 或 者 不 需要 一 

完整 的 数据 库 功 能 带 来 的 开销 ， 需 要 进行 非常 大 量 的 键 值 对 读 写 操作 ， 或 只 需要 存储 二 
1 大 对 和 象 数据 ， 那 么 其 他 的 数据 存储 技术 可 能 更 好 。 








































































































2.5.3 ”结束 语 





关系 数据 库 对 于 灵活 查询 是 一 个 很 好 的 选择 。 虽 然 PostgreSQL 需要 提前 设计 数据 ,但 
它 不 假设 如 何 使 用 这 些 数据 。 只 要 数据 模式 设计 相当 规范 ， 没 有 数据 重复 并 且 不 存储 可 被 
计算 出 来 的 值 ， 基 本 上 就 准备 可 以 应 付 所 有 可 能 需要 的 查询 。 如 果 使 用 了 合适 的 模块 ， 调 
优 好 ， 建 好 索引 ， 它 只 需 消 耗 很 少 的 资源 就 能 惊人 地 处 理 几 个 TB 的 数据 。 最 后 ， 对 于 极 
度 重 视 数据 安全 的 人 来 说 ，PostgreSQL 的 事务 符合 ACID， 确 保 你 的 提交 是 完全 原子 的 、 
一 致 的 、 隔 离 的 和 持久 的 。 
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Riak 











从 事 过 建筑 的 人 都 知道 ， 有 种 用 来 加 强 混 凝 土 的 钢 条 ， 称 作 钢筋 。 正 如 Riak〈 读 作 ” 
Ree-ahck”) 一 样 ， 钢 筋 不 会 单独 使 用 ， 它 往往 用 于 互相 作用 的 各 个 部 分 ， 以 使 整个 系统 持 
久 耐 用 。 于 是 ， 系 统 中 的 每 个 组 件 都 廉价 又 不 起 眼 ， 但 只 要 使 用 得 当 ， 就 可 构建 起 足够 简 
单 且 牢 固 的 基础 结构 。 


Riak 是 一 种 分 布 式 的 键 - 值 (key-value 数据 库 。 其 中 ， 值 可 以 是 任何 类 型 的 数据 ， 如 
普通 文本 、JSON、XML 、 图 片 ， 甚 至 视频 片段 ， 而 所 有 这 些 都 可 以 通过 普通 的 HTTP 接 
访问 。 你 有 什么 ，Riak 就 能 存 什么 。 


容错 是 Riak 的 男 一 特性 。 服务 器 可 在 任何 时 刻 启 动 或 者 停止 , 而 不 会 引起 任何 单 点 故 
隐 。 不 管 是 增加 或 者 移 除 服 务 器 ， 甚 至 有 节点 骨 溃 〈 谁 都 不 想 这 样 )， 集 群 依然 可 以 持续 忙 
碌 地 运行 。Riak 让 你 不 再 整 夜 无 眠 担心 集群 ， 某 个 节点 失效 不 再 是 紧急 事件 ， 完 全 可 以 等 
到 第 二 天 早晨 处 理 。Riak 的 核心 开发 者 Justin Sheehy 曾 提 到 :“(Riak 团队 ) 非常 注重 可 写 
入 性 …… 为 的 是 可 以 回 家 睡觉 。” 

然而 万 事 都 有 利 次 取舍 ，Riak 的 灵活 性 自 有 其 代价 。 对 于 自由 定义 的 (ad hoc) 查询 ， 
Riak 缺乏 有 力 文 持 ; 而 键 - 值 存储 的 设计 ， 使 得 数据 值 无 法 相互 连接 〈 即 ，Riak 没有 外 键 )。 
Riak 试图 将 这 些 问 题 各 个 击破 ， 我 们 会 在 后 面 儿 天 读 到 相关 内 容 。 


































































































































































































































































































































































































3.1 Riak 喜欢 Web 








在 本 书 中 ， 我 们 会 看 到 ， 比 起 其 他 数据 库 ，Riak 更 喜爱 万 维 网 (尽管 CouchDB 以 很 
小 的 差距 排 在 第 二 位 )。 可 以 通过 URL、HTTP 头 和 HTTP 方法 (如 POST) 查询 ，Riak 则 
会 返回 相应 的 数据 和 HTTP 状态 码 。 
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Riak 和 cURL 
本 书 旨 在 研究 7 种 数据 库 及 其 概念 ， 而 非 讲授 新 的 编程 语言 ， 所 以 我 们 尽 可 能 避免 引 
入 任何 新 语言 。Riak 提供 HTTP REST 接口 (REpresentational State Transfer， 表述 性 状 
态 转移 )， 所 以 我 们 可 以 通过 URL 工具 cURL 与 Riak 交互 。 当 然 ， 在 实际 生产 中 ， 根 
据 所 选择 的 编程 语言 ， 你 总 会 使 用 对 应 的 驱动 程序 。 而 cURL 可 以 让 我 们 不 依赖 任何 
驱动 或 者 编程 语言 ， 一 览 Riak 底层 API。 











像 Amazon 这 样 的 数据 中 心 ， 必 须 快速 响应 处 理 大 量 请 求 ，Riak 是 这 些 数据 中 心 很 棒 
的 选择 。 如 果 客 户 每 等 待 一 毫秒 ， 都 会 造成 潜在 的 损失 ，Riak 几乎 是 这 种 案例 的 最 佳 解决 
方案 一 一 它 易于 管理 、 便 于 搭建 ， 还 能 根据 需要 扩展 。 你 要 是 用 过 SimpleDB 或 者 S3 之 类 
的 Amazon Web 服务 ， 一 定 会 注意 到 Riak 的 形式 与 功能 ， 和 它们 有 相似 的 感觉 。 这 可 不 是 
什么 巧合 ，Riak 的 灵感 正 是 来 自 于 Amazon Dynamo 的 论文 。' 


本 章 会 探究 Riak 如 何 存 储 并 检索 数据 ， 以 及 如 何 使 用 链接 将 数据 捆绑 。 然 后 会 探索 本 
书 中 大 量 使 用 的 数据 检索 概念 : 映射 - 归 约 (mapreduce )。 此 外 ， 也 会 看 到 Riak 如 何 把 节 
点 服务 器 组 成 集群 ， 并 且 在 节点 发 生 故 障 时 处 理 请 求 。 最 后 ， 我 们 看 看 Riak 如 何 处 理 因 写 
入 分 布 式 服 务 器 而 产生 的 冲突 ， 以 及 基本 服务 器 的 一 些 扩展 。 
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可 以 下 载 和 安装 Basho* (资助 Riak 开发 的 公司 ) 提供 的 Riak， 不 过 我 们 更 倾向 于 通 
过 编译 进行 安装 ， 以 便 学 习 一 些 预 配置 的 例子 。 若 着 实 不 想 编译 Riak， 那 就 安装 预 编译 版 
本 ， 而 后 下 载 源 代 码 并 解压 到 用 于 学 习 的 服务 器 。 另 外 ，Riak 依赖 于 Erang ， 必 须 安 装 
(R14B03 及 更 新 的 版 本 )。 


由 源 代码 编译 Riak， 需 要 3 件 东 西 : Erlang、 源 代码 和 诸如 Make 的 UNIX 编译 工具 。 
安装 Erlang 非常 简单 ( 见 第 6 章 ), 花 些 时 间 罢 了 。 Riak 的 源 代 码 可 以 从 代码 库 下 载 (Basho 
网 站 上 有 链接 一 一 要 是 你 没有 安装 Git 或 Mercurial， 下 载 源 代码 压缩 包 也 无 妨 )。 本 章 所 有 
的 例子 都 基于 1.0.2 版 本 的 Riak。 


Riak 的 创造 者 像 圣诞 老人 一 样 ， 在 新 用 户 的 长 袜 里 放 入 一 个 很 酷 的 玩具 。 在 编译 Riak 
的 目录 中 运行 这 个 命令 : 























































































































































































































$ make devrel 





! http://allthingsdistributed.com/files/amazon-dynamo-sosp2007.pdf 
2 http://www.basho.com/ 
3 http:/www.erlang.org/ 
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命令 完成 后 ， 我 们 可 以 发 现 三 个 示例 服务 器 。 局 动 它们 ; 





$ dev/devl/bin/riak start 
$ dev/dev2/bin/riak start 
$ dev/dev3/bin/riak start 














如 果 某 个 服务 器 因为 端口 被 占用 而 无 法 启动 ， 不 要 慌 。 可 以 编辑 故障 服务 器 的 
/etc/app.config 文件 ， 修 改 类 似 如 下 一 行内 容 ， 以 改变 devl dev2 或 dev3 端口 ; 









































[下 二 七 站 天 下 二 于 2 OO +80.91 “| 

















此 刻 ， 有 三 个 名 为 beam. smp 的 Erlang 进程 在 运行 ， 分 别 代表 各 个 独立 的 Riak 节点 
《服务 器 实例 )， 而 不 知道 互相 之 存在 。 下 一 步 是 创建 集群 ， 需 要 用 各 个 节点 服务 器 的 
riak-admin 命令 cluster join， 将 它们 指向 其 他 集群 节点 ， 从 而 相互 连接 。 




































































$ dev/dev2/bin/riak-admin cluster join devlQ127.0.0.1 




















在 Riak 中 ， 所 有 节点 无 主 次 之 分 ， 因 此 可 以 让 节点 服务 器 指向 任何 其 他 节点 。 既 然 
devl 和 dev2 都 在 集群 中 ， 节 点 dev3 可 以 指向 两 者 中 的 任意 一 个 




















$ dev/dev3/bin/riak-admin cluster join dev2@127.0.0.1 


























用 Web 浏览 器 打开 http://localhost:8091/stats， 查 看 节 i 
息 ， 可 以 确认 它们 处 于 正常 状态 。 在 这 个 过 程 中 ， 会 提示 你 下 载 文件 ， 其 中 包含 关于 集群 
的 大 量 信息 。 文 件 内 容 大 致 如 下 所 示 (为 方便 阅读 ， 排 版 有 所 修改 ): 
















































































"vnode gets":0, 
"vnode puts":0, 


"vnode index reads":0, 


"connected nodes":[ 
"dev2@127.0.0.1", 
"dev3@127.0.0.1" 

], 


"ring members":1I 
"dev1@127.0.0.1", 
"dev2@127.0.0.1", 
"dev3@127.0.0.1" 

], 

"ring num partitions":64, 


"ring ownership": 
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"I{'dev3@127.0.0.1"',21},1{'dev2@127.0.0.1',21},{'dev1i@127.0.0.1°',22}]", 























通过 端口 8092 (对 应 dev2) 和 8093 (对 应 dev3) 访问 其 他 节点 的 统计 信息 ， 不 难 发 
现 ， 环 (ring) 中 的 所 有 节点 服务 器 都 是 平等 的 参与 者 。 我 们 不 妨 以 dev1 为 例 进一步 了 解 
节点 统计 信息 。 


ring_ members 属性 包含 所 有 节点 的 名 字 ， 因 此 对 于 每 个 服务 器 都 是 相同 的 。 再 看 
connected_nodes 属性 ， 它 则 包含 环 中 的 其 他 所 有 节点 服务 器 的 列表 。 


显然 ， 可 以 停止 某 个 节点 ， 从 而 改变 connected_nodes 属性 的 值 … 



















































































$ dev/dev2/bin/riak stop 





刷新 /stats 页 面 , 会 发 现 节 点 dev2@127.0.0.1 从 connected_nodes 列表 中 消 
失 。 启 动 dev2， 它 会 再 次 加 入 Riak 环 ( 环 的 内 容 ， 我 们 将 在 第 2 天 讨论 )。 




















3.2.1 REST 是 最 棒 的 (或 用 cURL 时 ) 


REST 是 REpresentational State Transfer 的 缩写 ， 意 为 表述 性 状态 转移 。 听 起 来 像 个 掏 
的 专业 术语 ， 但 它 已 成 为 Web 应 用 架构 的 事实 标准 ， 值 得 我 们 了 解 。REST 是 将 资源 映 
射 到 URL 及 使 用 CRUD 方法 与 这 些 URL 交互 的 的 标准 。CRUD 方法 意 为 : POST(Create)、 
GET (Read)、 PUT (Update), 以 及 DELETE (Delete )。 





















































如 果 还 没有 安装 它 ， 就 安装 HTTP 客户 端 程 序 CURL。HTTP 客户 端 程序 cURL 易于 
指定 HTTP 方法 (如 GET 与 PUT) 和 HTTP 头 信息 (如 content-Type)， 所 以 不 妨 使 用 
从 cURL 作为 REST 接口 。 利 用 curl 命令 ， 无 需 交 互 式 控制 台 或 者 Ruby 驱动 程序 ， 直 接 
同 Riak 服务 器 的 HTTP REST 接口 通信 。 

































































可 以 ping 某 个 节点 ， 以 验证 curl 命令 与 Riak 交互 良好 。 











$ curl http://localhost:8091/ping 
OK 








发 送 一 个 会 导致 问题 的 请 求 。 参 数 -I 的 意思 是 我 们 只 要 HTTP 响应 的 头 。 





$ curl -I http://localhost:8091/riak/no bucket/no key 

HTTP/1.1 404 Object Not Found 

Server: MochiWeb/1.1 WebMachine/1.7.3 (participate in the frantic) 
Date: Thu, 04 Aug 2011 01:25:49 GMT 
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Content-Type: text/plain 
Content-Length: 10 





























Riak 采用 HTTP 的 URL 与 方法 ， 同 样 它 也 使 用 HTTP 头 和 错误 代码 。 这 里 的 404 响应 与 
你 平日 所 遇 到 的 网 页 无 法 找到 的 错误 代码 并 无 不 同 。 不 妨 更 进一步 ， 试 试 对 Riak 提交 PUT 方 
法 请 求 。 

参数 -x PUT 意 为 执行 HTTP 的 PUT 方法 ， 以 存储 并 检索 某 个 显 式 键 。-H 参数 将 紧 
接 其 后 的 文本 作为 HTTP 头 信息 。 在 这 条 命令 里 ， 还 把 MIME 内 容 类 型 设置 为 HTML。 -da 
参数 后 的 所 有 内 容 (也 就 是 HTTP 体 ) 会 被 Riak 设置 为 一 个 新 值 。 











































































































$ curl -v -X PUT http://localhost:8091/riak/favs/db \ 
-H "Content-Type: text/html" \ 
-d "<html><body><hl>My new favorite DB is RIAK</h1l></body></html>" 








命令 完毕 后 ， 如 果 你 在 浏览 器 中 浏览 http://localhost:8091/riak/favs/db， 
就 会 看 到 一 条 出 自 你 手 的 消息 。 








3.2.2 ”将 值 放 于 桶 中 


Riak 是 一 种 键 - 值 存储 方式 ， 自 然 需 要 传 给 它 键 以 检索 值 。 为 了 避免 键 冲突 ，Riak 将 键 分 
为 各 个 种 类 ， 放 入 桶 (bucket) 中 。 比 如 ， 表示 编 程 语言 的 java 不 会 与 作为 饮料 的 animals 







































































我 们 将 建立 一 个 系统 ， 来 管理 小 狗 旅 馆 中 动物 的 信息 。 首 先 ， 新 建 一 个 animals 桶 
包含 每 个 毛 昔 昔 的 房客 的 信息 。URL 遵循 这 样 的 模式 : 


























~ 





http://SERVER:PORT/riak/BUCKET/KEY 



































把 数据 填 入 Riak 桶 的 一 个 简单 方式 是 事先 知道 键 。 首 先 将 小 狗 Ace 加 入 。Ace 的 小 名 
是 The Wonder Dog， 给 它 的 键 为 ace， 值 为 {"nickname" : "The Wonder Dog",， 
"breedq" : "German Shepherd"}。 你 不 必 显 示 地 新 建 桶 ， 事 实 上 ， 只 要 把 第 一 个 
值 加 入 某 个 桶 名 ， 相 应 的 桶 就 创建 了 。 
























































$ curl -v -X PUT http://localhost:8091/riak/animals/ace \ 
-H "Content-Type: application/json" \ 
-d '{"nickname" : "The Wonder Dog", "breed" : "German Shepherd"}' 





加 入 新 值 会 得 到 204 响应 代码 。 因 为 curl 命令 中 的 -v 参数 , 该 命令 输出 了 响应 的 头 。 


























< HTTP/1.1 204 No Content 
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可 以 用 如 下 命令 查看 已 创建 的 桶 列表 。 











$ curl -X GET http://localhost:8091/riak?buckets=true 
{"buckets": ["favs","animals"]} 

















当然 ,也 可 以 选择 在 HTTP 响应 中 包含 体 , 而 不 只 是 头 。 通 过 增加 另 一 个 动物 房客 Polly， 
来 看 看 命令 的 效果 : 

















$ curl -v -X PUT http://localhost:8091/riak/animals/polly?returnbody=true \ 
-H "Content-Type: application/json" \ 
-d '{"nickname" : "Sweet Polly Purebred", "breed" : "Purebred"}' 





这 次 你 会 看 到 响应 代码 200。 











< HTTP/1.1 200 OK 














HH 





若 我 们 不 讲究 键 名 ，Riak 会 在 POST 方式 的 请 求 下 生成 一 个 键 。 

















$ curl -i -X POST http://localhost:8091/riak/animals \ 
-H "Content-Type: application/json" \ 
-d '{"nickname" : "Sergeant Stubby", "breed" : "Terrier"}' 



































生成 的 键 会 显示 在 响应 头 的 Location 属性 里 ， 我 们 也 能 在 响应 头 里 看 到 成 功 响 应 代码 











201。 





HTTP/1.1 201 Created 

Vary: Accept-Encoding 

Server: MochiWeb/1.1 WebMachine/1.7.3 (participate in the frantic) 
Location: /riak/animals/6VZc207zKxq2B34kJrmlS0ma3PO 

Date: Tue, 05 Apr 2011 07:45:33 GMT 

Content-Type: application/json 

Content-Length: 0 


























而 通过 GET 方法 (如 果 没 有 指定 ,该 请 求 是 CURL 的 默认 值 ) 对 这 个 位 置 的 请 求 会 检索 这 
个 值 。 



































$ curl http://localhost:8091/riak/animals/6VZc207zKxq2B34kJrmlS0ma3PO 








DELETE 方法 会 把 这 个 值 删除 。 





$ curl -i -X DELETE http://localhost:8091/riak/animals/6VZc207zKxq2B34kJrmlS0ma3PO 
HTTP/1.1 204 No Content 

Vary: Accept-Encoding 

Server: MochiWeb/1.1 WebMachine/1.7.3 (participate in the frantic) 
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Date: Mon, 11 Apr 2011 05:08:39 GMT 

Content-Type: application/x-www-form-urlencoded 

Content-Length: 0 

DELETE 方法 不 会 返回 任何 响应 体 , 但 是 对 于 成 功 的 情况 会 返回 响应 代码 204; 否则 ， 
就 返回 404。 

若 你 态 记 桶 中 的 键 ， 可 以 用 参数 keys=true 来 查询 。 
































$ curl http://localhost:8091/riak/animals?keys=true 





更 为 


3.2. 














当然 ， 你 也 能 使 
安全 





Eo 


nm 




















和 





3 ”链接 








参数 keys=stream， 以 流 的 形式 获取 数据 。 这 对 于 大 数 集 的 情况 
在 数据 流 中 ， 键 数组 的 对 象 不 断 发 送 ， 直 到 以 空 数组 结尾 。 
































将 一 个 键 关联 到 其 他 键 的 元 数据 称 为 链接 ， 其 基本 结构 如 下 : 
Link: </riak/bucket/key>; riaktag=\"whatever\" 





在 尖 插 号 (<...>) 

















里 的 是 值 链接 


到 


1 的 键 ， 紧 接着 











关联 到 这 个 值 的 标签 〈 它 可 以 是 任何 字符 串 )。 


笼 合 


也 会 创建 名 为 cages 的 


设置 

















1， 链 接 遍 历 


小 狗 旅馆 有 


于 


右 



































为 JSON 数据 。 








用 到 链接 。 通 过 将 cage 1 链接 








人 和 











用)。 




















于 这 








售 安 置 在 ro 








合龙 




















om 101， 因 此 对 于 这 检 





干 笼 舍 〈 当 然 是 宽敞 、 和 舒适 、 人 性 化 的 笼 舍 )。 为 了 记录 某 个 动物 在 哪个 
到 Polly 的 键 ， 可 以 表示 cage 1 里 住 着 Polly (这 
和 的 信息 ， 将 它 











$ curl -X PUT httP://Localhost :8091/riak/cages/ILI \ 
-H "Content-Type: application/json" \ 


-H "Link: </riak/animals/polly>; riaktag=\"contains\"" \ 







































































-d '{"room" : 101}' 
不 难 发 现 ， 这 个 链接 关系 是 单 向 的 。 事 实 上 ， 才 创建 的 这 个 笼 舍 知 道 Polly 住 在 里 面 ， 但 
Polly 的 信息 没有 任何 修改 。 可 以 这 样 验证 ， 先 获取 Polly 的 数据 , 然后 检查 Link 头 中 否 有 变化 。 














$ curl -i http://localhost:8091/riak/animals/polly 


HTTP/1.1 200 OK 
X-Riak-Vclock : 


a85hYGBgzGDKBVIcypz/fvrde/US5gymRMY+VwZw35gRfFgA= 
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Vary: Accept-Encoding 


Server: MochiWeb/1.1 WebMachine/1.9.0 (participate in the frantic) 


Link: </riak/animals>; rel="up" 
Last-Modified: Tue, 13 Dec 2011 17:53:59 GMT 
ETag: "VDOZAfOTsIHsgG5PM3YZW" 

Date: Tue, 13 Dec 2011 17:54:51 GMT 
Content-Type: application/json 
Content-Length: 59 


{"nickname" : "Sweet Polly Purebred", "breed" : "Purebred"} 

















可 以 用 逗号 分 隔 , 按 需 创建 多 个 链接 元 数据 ,把 Ace 放 在 cage 2 中 ,同时 用 标签 next_to 








把 它 指向 cage 1， 表 示 它 们 是 相 邻 的 两 个 笼 舍 。 











$ curl -X PUT http://localhost:8091/riak/cages/2 \ 
-H "Content-Type: application/json" \ 

-了 "Link:</riak/animals/ace>;riaktag=\"contains\", 
-H "Link:</riak/cages/1>;riaktag=\"next toNnn \ 

-d '{"room" : 101}"' 














Riak 链接 的 特别 之 处 在 于 链接 遍历 (以 及 一 种 更 强大 的 变形 ， 链 接 mapreduce 查询 ， 
明天 会 研究 这 部 分 内 容 )。 通 过 在 URL 后 加 上 结构 如 /_,_, _ 的 链接 规范 ， 可 以 获取 链接 
的 数据 。 URL 中 的 下 划 线 (_) 表示 链接 的 每 个 条 件 查 询 的 通配符 : 桶 (bucket)、 标 签 (tag) 




























































































和 保留 (keep)。 这 些 术语 稍 候 解 释 ， 先 检索 来 自 cage 1 的 所 有 链接 。 














$ curl http://localhost:8091/riak/cages/1/ , ,_ 


—-4PYi9DW8iJK5aCvQQrrP7mh7jZs 


Content-Type: multipart/mixed; boundary=AvlfawIA4WjypR1z5gHJtrRIqk1D 


—-AvlfawIA4WjypRl1lz5g9HJtrRqk1D 

X-Riak-Vclock: a85hYGBgzGDKBVIcypz/fvrde/US5gymRMY+VwZw35gRfFgA= 
Location: /riak/animals/polly 

Content-Type: application/json 

Link: </riak/animals>; rel="up" 

Etag: VDOZAfOTsIHsgG5PM3YZW 

Last-Modified: Tue, 13 Dec 2011 17:53:59 GMT 


{"nickname" : "Sweet Polly Purebred", "breed" : "Purebred"} 
—--AvlfawIA4WjypR1lz59HJtrRqk1D-—— 


——4PYi9DW8iJK5aCvQQrrP7mh7j2Zs— 





命令 的 返回 结果 为 multipart /mixed 转 储 的 HTTP 响应 头 和 体 ， 






































其 中 响应 体 包含 所 


有 链接 的 键 / 值 。 这 看 起 来 真 够 哈 。 好 在 明天 我 们 会 用 更 为 强大 的 方法 来 获取 链接 遍历 数据 ， 















































它 的 返回 值 更 容易 阅读 。 但 今天 ， 我 们 将 继续 深究 返回 结果 的 语法 。 
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你 若 不 熟悉 阅读 multipart/mixed 的 MIME 类 型 ,可 以 先 看 属性 Content-Type， 
它 描述 了 标志 HTTP 头 和 数据 体 的 开始 与 结束 边界 的 边界 字符 串 。 

--BcodqSWMLuhkisrypPp0GidDLdaeA64 

Some HTTP header and body data 

—--BcOdSWMLuhkisryp0GidDLqeA64— 

在 这 个 例子 中 ， 返 回 的 是 cage 1 所 链接 的 数据 : Polly Purebred。 你 可 能 已 经 注意 ， 返 
回 的 响应 头 并 未 显示 链接 信息 。 不 用 紧张 ， 数 据 依 然 存 于 链接 到 的 键 中 。 





















































我 们 想 要 的 结果 。 














[ 工 











在 使 用 链接 遍历 的 时 候 ， 用 基体 的 值 奉 代 下 划 线 进行 过 滤 ， 只 返 


Pa 






































cage 2 有 两 个 链接 ， 因 此 使 用 链接 规范 进行 查询 会 返回 包含 于 cage 2 中 的 Ace， 以 及 与 cage 2 


相 邻 
































的 cage 1。 用 桶 名 animals 替代 第 一 条 下 划 线 ， 可 以 只 检索 与 桶 animals 相关 的 结果 。 





$ curl http://localhost:8091/riak/cages/2/animals, ,_ 





或 者 通过 tag 条 件 查 询 ， 找 到 相 邻 的 笼 舍 。 











$ curl http://localhost:8091/riak/cages/2/_,next to,_ 





接 时 


next_to, 取得 与 cage 2 相 邻 的 键 


设置 


挨 着 











最 后 那 条 下 划 线 一 一 keep 一 一 可 以 填 入 一 个 1 或 者 0。 在 检索 两 级 链接 或 者 链接 的 链 
《只 要 在 一 个 链接 模式 后 添加 另 一 个 链接 模式 )，keep 会 起 作用 。 不 妨 ， 先 通过 链接 
cage 1] 。 然 后 查询 链接 到 cage 1 的 animals。 由 于 keep 
为 0， 因 此 Riak 不 会 返回 中 间 步 又 的 数据 (cage 1)。 只 有 Polly 的 信息 会 返回 ，Polly 紧 
Ace 的 笼 舍 。 



















































































$ curl http://localhost:8091/riak/cages/2/_,next to,0/animals, ,_ 


-6mBdsboQ8kTT6MIUHgOrgvbLhzd 
Content-Type: multipart/mixed; boundary=EZYdVz90x4xzR4jxlI2ugUFFiZzh 


——-EZYdVz90x4xzR4jxlI2ugUFFiZh 

X-Riak-Vclock: a85hYGBgzGDKBVIcypz/fvrde/USgymRMY+VwZw35gRfFgA= 
Location: /riak/animals/polly 

Content-Type: application/json 

Link: </riak/animals>; rel="up" 

Etag: VDOZAfOTsIHsSgG5PM3YZW 

Last-Modified: Tue, 13 Dec 2011 17:53:59 GMT 





"nickname" : "Sweet Polly Purebred", "breed" : "Purebred"} 
——-EZYdVz90x4xzR4jxlI2ugUFFiZh-—— 


—-6mBdsboQ8kTT6MIUHgOrgvbLhzd-—— 
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如 果 希 望 得 到 Polly 以 及 cage 1 的 信息 ， 把 keep 设置 为 1 即 可 。 























$ curl http://localhost:8091/riak/cages/2/_,next to,1/ ，， 





-PDVOEl17Rh1IAP90jGlnlmhz7x8r9 
Content-Type: multipart/mixed; boundary=Yl1iPQ9LPNEoAnDeAMiRkAjCbmed 


—-Yl1iPQ9LPNEoOANDeAMiRkKAJjCbmed 
X-Riak-Vclock: a85hYGBgzGDKBVIcypz/fvrde/US5gymRKY+VIYoO35gRfFgA= 
Location: /riak/cages/l1 


Content-Type: application/json 
Link: </riak/animals/polly>; riaktag="contains", </riak/cages>; rel="up" 
Etag: 6LYNRNMRrGIqsTmpPE55PaU 


Last-Modified: Tue, 


{"room™ “101} 


13 Dec 2011 17:54:34 GMT 


——-YliPQ9LPNEoANDeAMiRkKAjCbmed-—— 


-PDVOEl17Rh1IAP90jGlnlmhz7x8r9 
Content-Type: multipart/mixed; boundary=GS9J6KQLsI8zzMxJl1uUDITfwiUKA 


--GS9J6KQLSI8zzMXJLIuDITfEwiUKA 
X-Riak-Vclock: a85hYGBgzGDKBVIcypz/fvrde/US5gymRMY+VwZw35gRfFgA= 
Location: /riak/animals/polly 


Content-Type: application/json 
Link: </riak/animals>; rel="up" 
Etag: VDOZAfOTsIHsgG5PM3YZW 


Last-Modified: Tue, 


13 Dec 2011 17:53:59 GMT 


{"nickname" : "Sweet Polly Purebred", "breed" : "Purebred"} 
—-GS9J6KQLsI8zzMxJl1UDITfwiUKA-—— 


-PDVOEl17RN1IAP90jGlnlmhz7x8r9—— 














在 取得 最 终结 果 过 程 中 的 所 有 对 象 ， 都 会 由 这 条 命令 返回 。 换 句 话 说， 保留 每 个 步骤 







































































] xX-Riak-Meta- 头 前 级 来 存储 任意 元 数据 。 如 果 我 们 想 记 录 


























T 


的 颜色 ， 而 这 并 非 日 常 答 舍 管理 中 的 必要 数据 ， 这 时 不 妨 通过 链接 把 cage 1 标记 为 





的 结果 。 

2. 链接 之 外 

有 了 链接 ， 可 以 使 
笼 舍 
粉色 。 











$ curl -X PUT http://localhost:8091/riak/cages/l1 \ 


-也 "Content-Type: 


application/json" \ 


-H "X-Riak-Meta-Color: Pink" \ 
-也 "Link: </riak/animals/polly>; riaktag=\"contains\"" \ 
-d '{"room" : 101}' 
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使 用 curl 的 -I 标志 获取 URL 的 头 ， 会 使 该 命令 返回 元 数据 的 名 字 与 值 。 





3.2.4 Riak 的 MIME 类 型 





Riak 将 任何 数据 都 另存 为 二 进 制 编码 的 值 ,， 与 普通 的 HTTP 并 无 不 同 。MIME 类 型 
的 意义 在 于 赋予 二 进 制 数据 上 下 文 一 一 目前 为 止 ， 我 们 只 处 理 了 普通 文本 类 型 。MIME 
类 型 存储 于 Riak 服务 器 上 ， 而 对 于 客户 端 ， 它 们 实际 上 则 是 一 个 标志 ， 以 便 客户 端 下 
载 二 进 制 数据 后 ， 它 知道 泻 染 成 何 种 类 型 。 

若 想 小 狗 旅馆 记录 房客 的 照片 ， 我 们 只 须 使 用 curl 命令 的 data-binary 标志 ， 将 
照片 上 传 到 服务 器 并 指定 MIME 类 型 为 image/jpeg。 此 外 , 在 这 个 照片 资源 上 增加 指向 
/animals/polly 的 链接 ， 以 便 在 取 到 照片 时 知道 照片 的 主人 。 
首先 ， 要 创建 名 为 polly_image .jpg 的 照片 ， 在 curl 命令 中 指定 放置 照片 的 目录 ， 
格式 与 之 前 所 执行 的 curl 命令 类 似 。 






































































































































$ curl -X PUT http://localhost:8091/riak/photos/polly.jpg \ 
-有 "Content-Type: image/jpeg" \ 
-H "Link: </riak/animals/polly>; riaktag=\"photo\"" \ 
--data-binary @polly image.jpg 














在 Web 浏览 器 里 访问 URL， 正 如 我 们 平时 所 认为 的 客户 端 -服务 器 工作 方式 ， 照 片 发 
送 到 浏览 器 并 正常 泻 染 。 




















http://localhost:8091/riak/photos/polly.jpg 








由 于 已 经 把 照片 链接 到 /animals/polly， 我 们 可 以 从 照片 的 键 链 接 遍 历 到 Polly， 
但 反 过 来 是 不 行 的 。 与 关系 数据 库 不 同 ， 这 里 没有 关于 链接 的 “has a” 或 者 “is a” 之 类 的 
规则 。 按 需 建立 某 个 方向 的 链接 。 如 果 用 例 需要 通过 animals 桶 访问 照片 数据 ， 则 应 该 
用 这 个 方向 的 链接 进行 蔡 代 《或 者 追加 )。 


































































































3.2.5 第 1 天 总 结 





我 们 希望 你 有 看 到 Riak 作为 灵活 存储 方案 的 一 丝 潜 力 。 到 目前 为 止 ， 我 们 只 介绍 
了 标准 键 值 存储 的 实践 ， 以 及 一 些 链接 的 知识 。 当 设计 Riak 的 模式 时 ， 考 虑 介 于 缓存 
系统 与 PostgreSQL 之 间 。 你 将 数据 分 为 不 同 的 逻辑 分 类 〈 桶 ) 而 值 之 间 是 相互 关联 的 。 
然而 ， 你 不 会 像 关 系数 据 库 一 样 ， 进 一 步 规范 化 数据 库 的 精细 组 件 ， 这 是 因为 Riak 不 
在 意 关 系 联 接 进 行 值 的 重 构 。 





























































































































3.3 第 2 天 : Mapreduce 和 服务 器 集群 。 59 
第 1 天 作业 

1. 把 Riak 项 目的 在 线 文 档 加 入 书签 ， 并 找到 REST API 的 文档 。 
2， 找到 浏览 器 所 支持 MIME 类 型 的 列表 ， 尽 可 能 完整 。 





























3. 阅读 Riak 示例 配置 文件 dev/dev1/etc/app.config， 并 与 其 他 dev 配置 进行 
比较 。 





























1. 使 用 PUT 方法 ， 更 新 anijmals/polly， 使 其 链接 到 photos/polly .jpg。 


2. POST 我 们 尚未 尝试 的 MIME 类 型 的 文件 (如 application/pqdf)， 找到 生成 的 
键 并 在 Web 浏览 器 里 访问 相应 的 URL。 



































3. 建立 一 个 名 为 medicines 的 新 桶 ，PUT 一 张 JPEG 图 片 〈 以 合适 的 MIME 类 型 )， 
其 键 为 antibiotics， 并 链接 到 Ace (可 怜 多 病 的 小 狗 )。 











3.3 第 2 天 : Mapreduce 和 服务 器 集群 


今天 我 们 会 深入 mapreduce 框架 ,执行 比 标准 键 - 值 范式 更 强大 的 查询 。 然 后 ， 通 过 引 
入 mapreduce 的 链接 人 遍历， 实现 更 强 的 功能 。 最 后 ， 我 们 会 研究 Riak 的 服务 器 架构 ， 以 及 
如 何 使 用 新 的 服务 器 布局 提供 灵活 的 一 致 性 与 可 用 性 ， 即 使 面 对 网 络 分 区 依然 有 效 。 































































































3.3.1 填充 脚本 


节 需 要 多 一 点 的 数据 。 为 此 ， 需 要 使 用 不 同 种 类 的 旅馆 作为 示例 ， 以 人 类 旅馆 代替 
小 狗 旅馆 。 一 个 用 Ruby 写 的 快速 填充 脚本 ， 会 为 10 000 间 客 房 的 旅馆 创建 海量 数据 。 


你 熟悉 Ruby 吗 ? 它 是 一 种 流行 的 编程 语言 。 如 果 你 想 以 简单 易 读 的 方式 快速 开发 朋 
本 ，Ruby 十 分 适用 。 你 可 以 在 Dave Thomas 和 Andy Hunt 所 著 的 《Programming Ruby: The 
Pragmatic Programmer’s Guide》 中 学 到 更 多 Ruby 的 知识 ， 当 然 ， 网 上 也 有 很 多 关于 Ruby 
的 学 习 资源 。， 






































































































































需要 安装 名 为 RubyGems 的 Ruby 包 管 理 器 。2 有 了 Ruby 和 RubyGems， 再 安装 Riak 


! http://ruby-lang.org 
2 http://rubygems.org 
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fz 


驱动 程序 。! 此 外 ， 可 能 还 需要 JSON 驱动 程序 ， 同 时 运行 两 个 驱动 程序 以 确 


保 无 误 。 


























$ gem install riak-client json 
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旅馆 每 个 房间 的 大 小 是 随机 的 ， 可 供 1 一 8 个 人 居住 ; 房型 亦 是 随机 的 ， 比 如 ， 单 人 间 
或 者 套房 。 








riak/hotel.rb 

# generate loads and loads of rooms with random styles and capacities 
require 'rubygems' 

require 'riak' 

STYLES = %w{single double queen king suite} 


client = Riak::Client.new(:http port => 8091) 
bucket = client.bucket ('rooms') 
# Create 100 floors to the building 
for floor in 1..100 
current rooms block = floor * 100 
puts "Making rooms #{current rooms block} —- #{current rooms block + 100}" 
# Put 100 rooms on each floor (huge hotel!) 
for room in 1...100 
# Create a unique room number as the key 
ro = Riak: :RObject.new(bucket, (current rooms block + room)) 
# Randomly grab a room style, and make up a capacity 
style = STYLES [rand (STYLES.length)] 
capacity = rand(8) + 1 
# Store the room information as a JSON value 
ro.content type = "application/json" 
ro.data = {'style' => style, "capacity' => capacity} 
ro.StoOres 
end 
end 


$ ruby hotel.rb 
































我 们 现在 已 经 为 人 类 旅馆 〈 不 是 小 狗 旅 馆 了 ) 填充 了 示例 数据 ， 然 后 可 以 在 此 之 上 进 
行 mapreduce 操作 。 











3.3.2 mapreduce 介绍 
































作为 在 多 个 节点 上 执行 并 行 任务 的 算法 框架 ，mapreduce 的 普及 是 Google 对 计算 机 科 





! http://rubygems.org/gems/riak-client 
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学 最 大 的 持久 贡献 之 一 。mapreduce 最 早 在 Google 相关 主题 的 开创 性 论文 中 描述 '， 并 成 为 
分 区 容忍 性 数据 存储 库 中 ， 执 行 自 定 义 查 询 的 有 用 工具 。 


mapreduce 会 把 问题 分 解 为 两 部 分 。 一 ， 通 过 map () 方法 ， 将 一 列 数 据 转 换 成 另 一 不 
同类 型 的 一 列 数据 。 二 ， 通 过 reduce () 函数 ， 将 map () 方法 所 生成 的 那 列 数据 转换 成 一 
个 或 者 多 个 标量 值 。 这 种 模式 允许 系统 将 任务 分 成 更 小 的 组 件 任务 ， 然 后 跨 大 规模 集群 服 
务 器 并 行 运行 这 些 任务 。 通 过 将 包含 {country : 'CA' } 的 Riak 值 映射 到 {count : 1}， 
然后 计算 所 有 这 些 count 的 数目 以 进行 归 约 ， 就 能 算出 包含 {country : 'CA'} 的 Riak 
值 的 总 数 。 如 果 在 数据 集中 有 5012 个 加 拿 大 人 ， 归 约 的 结果 则 是 {count : 5012}。 




































































































































































map = function(v) 
Var parsedData = JSON.parse(v.values[0] .data); 


if(parsedData.country === 'CA') 
return [{count : 1}]; 
else 
return [{count : 0}]; 
} 
reduce = function (mappeqVals) { 
Var sums = 0; 


for (var i in mappedVals) { 
sums[count] += mappedVals[i] [count]; 
} 


return [{count:sums}]; 

















在 某 种 程度 上 ，mapreduce 与 通常 运行 查询 的 方法 相反 。 运 行 在 Rails 系统 上 的 Ruby 
脚本 能 以 如 下 方式 抓 取 数 据 (通过 它 的 ActiveRecord 接口 ): 





# Construct a Hash to store room capacity count keyed by room style 
capacity by style = Hash.new{|h.k| hIk]=0} 
Room.find each do |room|#all and each is redlly bad 
# wouldn't consider it fair to AR 
# in this context 
capacity by style[room.style] += room.capacity 


end 





Room.all 对 后 台数 据 库 执行 SQL 查询 ， 类 似 这 样 : 














SELECT * FROM rooms; 











数据 库 把 所 有 的 结果 发 送 到 应 用 服务 器 ， 而 后 应 用 服务 器 代码 对 这 些 数据 执行 某 些 操 


! http://labs.google.com/papers/mapreduce.html 
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作 。 在 这 个 用 例 
旅馆 ! 


























mapreduce 则 以 术 





， 遍 历 旅馆 





的 每 个 客房 ， 然 后 为 每 种 房型 的 客房 计算 总 容量 《比如 ， 











所 有 套房 的 容量 为 448 个 房客 )。 这 对 于 小 数 ] 
增长 ， 由 于 数据 库 持 续 将 每 个 客房 的 数据 串 流 到 应 月 


目 反 的 方式 运作 。 可 以 这 样 理 














解 ， 帮 




















据 集 差强人意 。 但 是 ， 随 着 客房 数目 








昌 服 务 器 ， 系 统 会 渐渐 


的 





变 慢 . 














抓 取 数 据 ， 然 后 客户 端 〈 或 者 应 用 服务 器 ) 获取 并 处 理 数据 ， 而 mapredu 





常规 查询 方式 | 





， 首 先 从 数据 库 
ce 作为 一 种 工作 





模式 ， 会 将 某 种 算法 传 给 数据 库 节 点 ， 之 后 每 个 节点 负责 返回 各 自 的 查询 结果 。 节 点 服务 





zm 





器 上 的 每 个 对 象 者 

















Bh“ 映射 ”Cmapped〉 到 一 些 党 用 





























的 键 ， 





所 有 相互 匹配 的 键 都 “ 归 约 ”(reduced) 成 某 些 单一 的 值 。 














对 于 Riak， 这 意味 着 是 数据 库 服 务 器 负责 映射 并 归 约 每 个 节点 
在 网 络 上 传输 ， 而 在 某 个 其 他 服务 器 
的 结果 传递 给 发 晶 


这 个 简单 的 变换 造就 了 一 利 
生 输 开销 很 小 的 结果 ， 并 返回 
将 数据 发 送 到 算法 ， 是 一 种 更 快 的 查询 方式 。 在 医 
账单 以 电话 号 码 为 键 ， 分 布 在 3 个 服务 器 上 ， 








直到 最 终 


从 而 计算 得 到 











单 的 总 费用 ， 电 
似 的 所 有 1 
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[| 


电话 号 人 码 。 





















































名 














上 〈 往 往 是 发 























这 些 键 用 来 将 数据 分 组 ， 接 着 


FE 的 值 。 归 约 的 这 些 值 





~ 












































函 





444-1212=> ] 
$0 
444-1213 => 
$32 
444-1214 => 
$12 



































出 给 reduce 函数 再 输 











其 他 reduce 函数 








请 求 的 服务 器 ) 会 进一步 归 约 这 些 值 ， 
请 求 的 客户 端 ( 视 情况 而 定 ， 或 者 传递 给 Rails 应 用 服务 器 )。 


强大 的 方法 ， 复 杂 的 算法 得 以 在 每 个 节点 服务 器 
给 发 送 请 求 的 服务 器 。 算 法 先 发 送 到 数 
3-1 中 ， 我 们 看 到 如 何 计算 一 桶 
每 个 服务 嚣 存 有 前 级 相 类 


上 运行 ， 
据 ， 再 
Sa 账 


也 

































































map 函数 的 结果 会 输入 reduce 函数 ; 然而 ，map 函数 和 reduce 函数 共同 协作 的 结果 
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会 注入 其 后 连续 调用 的 reduce 函数 。 之 后 的 章节 会 再 次 讨论 这 种 思想 ， 因 为 对 于 编写 有 效 
的 mapreduce 查询 来 说 ， 这 是 其 中 重要 而 微妙 的 一 部 分 。 
























































3.3.3 Riak 中 的 mapreduce 











让 我 们 试 着 为 Riak 数据 集 创 建 mapreduce 函数 ， 该 函数 的 功能 就 如 之 前 所 讨论 的 ， 计 


算 旅 馆 的 容 


























量 。 运 用 于 Riak 的 mapreduce 有 一 个 实用 的 功能 ， 可 以 单独 运行 map () 函数 ， 
查看 所 有 的 中 间 结 果 ( 所 谓 中 间 结 果 ， 假 设 你 会 继续 运行 reduce 函数 )。 我 们 不 妨 放 缓 速 
































度 ， 先 看 看 101、102 和 103 房间 的 查询 结果 。 


实现 映射 依赖 于 我 们 正在 使 用 的 编程 语言 和 源 代码 ; 之 后 才能 实际 编写 map 函数 ,我 
们 所 用 的 是 JavaScript (JavaScript 实现 的 这 个 函数 只 是 一 个 字符 串 ， 所 以 始终 需要 将 某 些 








字符 转 义 )。 



































在 cURL 中 使 用 -命令 可 以 使 控制 台 标 准 输 入 保持 打开 状态 ， 直 至 接收 到 CTRL+D。 
命令 中 的 数据 会 注入 HITP 请 求 体 ， 并 以 POST 方式 提交 给 命令 /mapred (注意 ， 这 里 的 
URL 是 /mapred， 而 非 /riak/mapred) 




































































$ curl -X POST -H "content-type:application/json" \ 
http://localhost:8091/mapred --data Q@- 


{ 


vInNoutes Tart 
["rooms", WTOLE] ["rooms", T1002n] 2 ["rooms", "103"] 


J 


"query":[ 


{"map":{ 


"language":"javascript", 
"source": 


"function(v) { 
/* From the Riak object, pull data and parse it as JSON */ 
Var parsed data = JSON.parse(v.values[0] .data); 
var data = {}; 
/* Key capacity number by room style string */ 


data[Parsed data.style] = parsed data.capacity; 


return [datal; 














/mapred 命令 希望 得 到 有 效 的 JASON， 这 里 规定 了 mapreduce 命令 的 格式 。 首 先 ， 选 


择 三 个 房间 





























， 有 具体 的 做 法 是 设置 一 个 数组 作为 输入 值 “inputs”， 其 中 包含 [bucket ，key] 
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桶 键 组 合 。 不 过 ， 这 条 命令 的 真正 重点 在 于 query 的 值 ， 它 可 以 接受 的 内 容 有 ， 包 含 其 他 
对 象 的 JSON 对 和 象 的 数组 ， 如 map、reduce 和 /或 link (后 面 有 更 多 关于 link 的 讨论 )。 











这 一 切 归 根 结 底 取决 于 v.values[0] .data， 它 会 被 JSON .parse〔...) 解析 为 
JSON 对 象 ， 然 后 返回 以 房型 (parsegd_gdata.style) 为 键 的 房间 容量 (parsed_- 


> 台 已 


data.capacity)。 你 能 得 到 的 结果 如 下 所 示 : 






































Lt"suliter er tsinglen.:liy ("double" :dl] 








这 只 是 来 自 于 101、102 和 103 房间 的 三 个 对 象 的 JSON 数据 。 

不 一 定 要 把 数据 简单 地 输出 为 JION。 事 实 上， 可 以 将 每 个 键 及 其 值 转换 为 我 们 希望 
的 任何 形式 。 这 里 仅仅 深入 讨论 了 响应 体 ， 然 而 其 实 还 取 回 了 元 数据 、 链 接 信 息 、 键 以 及 
数据 。 于 是 ， 任 何事 情 都 可 能 发 生 一 一 可 以 将 每 个 键 值 映射 到 某 些 其 他 的 值 。 


如 果 你 觉得 可 以 胜任 ,通过 用 rooms 桶 名 修改 输入 数组 [bucket, key] 能 返回 全 部 10 000 
个 客房 的 映射 值 ， 如 下 所 示 : 








| 





瑟 
































































































































"iDUte TOGMS” 















































郑重 警告 : 这 会 输出 大 量 数据 。 最 后 , 值得 一 提 的 是 , 从 1.0 版 本 的 Riak 起 , mapreduce 
函数 由 称 为 Riak Pipe 的 子 系统 处 理 ; 而 更 早 的 系统 则 使 用 遗留 的 mapred_system。 作 为 最 
终 用 户 ， 这 对 你 不 会 有 大 影响 ， 但 这 种 变化 着 实 提升 了 运行 速度 与 稳定 性 


1. 可 存储 的 函数 


Riak 还 提供 了 一 种 选择 一 一 在 桶 里 存储 map 函数 。 这 是 将 算法 移入 数据 库 的 另 一 个 例 
子 。 它 是 一 个 存储 过 程 ， 或 者 更 确切 地 说 ， 是 一 个 用 户 定义 的 函数 ， 这 与 关系 数据 库 中 使 
用 多 年 的 理念 类 似 。 


























UT 
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$ curl -X PUT -H "content-type:application/json" \ 
http://localhost:8091/riak/my functions/map capacity --data Q@- 
function(v) { 

Var parsed data = JSON.parse(v.values[0] .data); 

var data = {}; 

datal[lparsed data.style] = parsed data.capacity; 

return [datal]; 


} 











只 要 函数 安全 地 存 于 Riak， 就 能 指向 包含 这 个 函数 的 桶 与 键 ， 从 而 运行 此 函数 。 




















$ curl -X POST -H "content-type:application/json" \ 
http://localhost:8091/mapred --data Q@- 
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TiNBuES TS 
[rooms™ rn1i0Ll["rooms, L002 "rooms, L003"] 
], 
"query":[ 
{"map":{ 
"language":"javascript", 
"bucket":"my functions", 
"key":"map_ capacity" 
}} 















































正如 在 请 求 中 置 入 JavaScript 源 代码 一 样 ， 可 以 通过 这 种 方式 得 到 相同 的 结果 ， 
2. 内 置 函数 


可 以 使 用 附 于 JavaScript 对 象 Riak 之 中 的 Riak 内 置 函数 。 如 果 运 行 如 下 所 示 的 代码 ， 
room 对 象 会 把 值 映 射 到 JSON 并 返回 它们 。 函 数 Riak .mapValuesJson 的 作用 就 是 将 值 映 
射 为 JSON。 




































































curl -X POST http://localhost:8091/mapred \ 
-H "content-type:application/json" --qata @- 
{ 
vinputes™sl 
"rooms", "101"], ["rooms", "102"], ["rooms","103"] 
], 
"query":[ 
"map" 汉 汪 
"language":"javascript", 
"name":"Riak.mapValuesJson" 


} 











事实 上 , 在 一 个 名 为 mapreqd_builtins .js 的 文件 中 (该 文件 可 以 在 线 或 者 深入 代 
码 找 到 )， 可 以 找到 多 Riak 所 提供 的 更 多 内 置 函 数 。 同 样 ， 能 用 这 样 的 语法 调用 自己 的 内 
置 函数 ， 会 在 明天 研究 这 部 分 内 容 。 


3.， 归 约 


映射 (mapping) 发 挥 着 它 的 作用 ,然而 只 能 用 它 把 单个 值 转化 为 其 他 单个 值 。 对 数据 
集 做 某 种 分 析 ， 甚 至 是 简单 地 对 记录 计数 ， 都 需要 映射 之 外 其 他 的 其 他 步 又。 而 这 就 是 归 
约 (reducing) 发 挥 其 作用 之 处 。 
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我 们 稍 早 讨论 的 SQL/Ruby 例子 〈“ 见 3.3.2 节 ) 演示 了 如 何 遍 历 每 个 值 ， 以 及 如 何 计 
算 每 种 房型 的 总 容量 。 下 面 将 用 JavaScript 的 reduce 函数 执行 这 个 功能 。 




















传 给 /mapred 的 大 部 分 命令 是 相同 的 。 这 次 将 增加 reduce 函数 。 





$ curl -X POST -H "content-type:application/json" \ 
http://localhost:8091/mapred --data Q@- 
下 


"inputs":"rooms", 
"query":[ 
{"map":{ 
"language":"javascript", 


"bucket":"my functions", 
"key":"map_capacity" 

}}, 

{"reduce":{ 
"language":"javascript", 
"source": 

"function(v) { 
Var totals = {}; 


for (var i in v) { 


for (var style in v[i]) { 
if( totals[style] ) totals[style] += v[i] [stylel]; 
else totals[style] = v[i][stylel; 


} 


return [totals]; 








对 所 有 客房 运行 这 个 函数 回 返回 以 房型 为 键 的 总 容量 


可 
O 








[{"single":7025, "queen":7123,"double":6855, "king":6733,"suite":7332}] 

















你 在 此 得 到 的 总 容量 与 之 前 的 结果 不 会 完全 一 致 ， 因 为 客房 数据 是 随即 生成 的 。 











4. 键 过 过 沪 器 

Riak 最 近 的 新 增 特 性 是 称 为 键 过 滤器 的 概念 。 键 过 滤器 是 一 组 命令 的 集合 ， 它 可 以 在 
执行 mapreduce 之 前 预 处 理 键 。 通 过 这 种 便捷 方式 ， 可 以 避免 加 载 不 需要 的 键 。 在 如 下 例 
子 中 ， 将 把 每 个 作为 键 的 房 号 转换 成 整数 ， 并 检查 它 是 否 小 于 1000《〈 由 此 只 统计 最 低 10 
层 的 数据 ; 10 层 以 上 的 任何 客房 都 会 忽略 )。 























-| 
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323. 第 : 
以 如 下 代码 块 (必须 以 逗号 结尾 ) 替代 























































































































在 返 人 mapreduce 过 程 中 
“inputs”:”rooms ”。 
DCS 
"bucket":"rooms", 
"Key filters™. [I string. to Lint wl. "less than", 1000]] 
jy 
你 应 该 注意 到 了 两 点 : 查询 快 了 很 多 很 多 (因为 只 处 理 了 需要 的 数据 )， 查询 得 到 的 容 
量 也 更 少 ( 因 为 只 计算 了 最 低 10 层 的 数据 )。 
并 对 此 做 总 体 分 析 的 强大 工具 。 在 本 书 中 ， 我 们 将 经 常 重 温 这 
整 ， 即 增加 了 链 














mapreduce 是 绑 定 数据 
全 相同 的 。Riak 对 基本 的 mapreduce 形式 略 作 调 


仿 量 过 
久 碟 元 








个 概念 ， 其 核心 概念 


接 (link)。 
5. 利用 mapreduce 进行 链接 遍历 
讨论 如 何 利用 mapreduce 进行 链接 遍历 。 查 询 部 分 会 包 


昨天 介绍 了 链接 遍历 。 今 天 会 
含 map 与 reduce 之 外 的 另 一 个 值 选项 ， 即 链接 。 
cage 2 的 映射 〈 记 住 ， 住 


芭 加 昨天 小 狗 旅 馆 例子 中 的 笼 舍 桶 ， 编 写 一 个 仅 返 


















































让 我 们 重臣 
着 小 狗 Ace 的 笼 舍 )。 
$ curl -X POST -H "content-type:application/json" \ 


http://localhost:8091/mapred --data Q@- 


{ 
inpDuUte elt 
"bucket":"cages", 
vkey. filtezs™ ll eq. 727 


}s 


"query":[ 
A ho hl 
"bucket":"animals" 
"keep":false 
}}, 
{"map":{ 


"language":"javascript" 


"source": 
{ return [v]; }" 


"function (v) 
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归 约 器 模式 


如 果 归 约 器 模式 遵循 与 map 函数 一 样 的 模式 ， 写 reduce 函数 就 会 容易 些 。 也 就 是 说 ， 


如 果 将 单个 值 映 射 为 





| 





.那么 reduce 函数 的 结果 应 像 这 样 : 





[{name:'Eric', count:105}, {name:'Jim', count:215}, **] 





当然 ， 这 不 是 必需 的 ; 而 是 实践 所 得 。 归 约 器 的 输出 
不 知道 map 函数 的 输出 、reduce 函数 的 输出 或 者 结合 两 者 的 输出 ， 能 否 作 为 reduce 
函数 的 输入 。 然 而 ， 如 果 遵 循 相同 的 对 象 模式 ， 你 就 不 必 在 意 这 些 ; 所 有 都 会 是 一 臻 
的 。 否 则 ，reduce 函数 必须 总 是 检查 它 收 到 的 数据 类 型 ， 并 作 相 应 的 决策 。 






































作为 其 他 归 约 器 的 输入 ， 可 是 你 








虽然 对 cage 桶 运行 mapreduce 查询 ， 但 返回 的 是 小 狗 Ace 的 信息 ， 这 是 因为 Ace 与 
cage 2 之 间 存 在 链接 。 
[{ 
"bucket":"animals", 


"key" :"ace", 


"vclock":"a85hYGBgzmDKBVIsrDJPfTKYEhNNzWBN6LfiP80GFWVZayO0KF5yGE2ZqTGPMCLiJLZAEA", 


wvalues":[{ 
"metadata":{ 
"Links":[], 


"xXx-Riak-VIag":"4JVIDCEYRIKUyUhw8OUYJS", 


"content-type":"application/json", 


"x-Riak-Last-Modified":"Tue, 


"Xx-Riak-Meta":[]}, 


vaatav™in{\ "nickname\ 


}] 
}] 


05 Apr 2011 06:54:22 GMT", 


\"The Wonder Dog\", \"breed\" : \"German Shepherd\"}" 





数据 与 元 数据 (一 般 在 HTTP 头 中 返 














加 ) 都 会 出 现在 值 数组 中 。 




















将 映射 、 归 约 、 链 接 遍 历 以 及 键 过 滤器 放 在 一 起 , 你 便 能 对 任意 Riak 键 数组 执行 查询 。 




















相 比 从 客户 端 扫描 所 有 数据 ， 这 种 方式 的 效率 大 大 提高 。 


于 这 些 查询 往往 在 若干 节点 服务 器 上 同时 运行 ， 





















































因此 你 不 必 为 此 长 时 间 等 候 。 但 是 ， 








如 果 你 真 的 不 能 接受 等 待 ， 查 询 还 有 一 个 选项 : 超时 (timeout )。 将 超时 设置 为 以 毫秒 为 
60000， 即 60 秒 )， 如 果 查 询 在 指定 时 间 内 没有 完成 ， 











单位 的 值 ( 默 认 值 是 "timeout": 
它 就 会 取消 。 
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3.3.4 ”关于 一 致 性 和 持久 性 














Riak 服务 器 架构 消除 了 单 点 故障 〈 所 有 节点 都 是 对 等 的 )， 并 人 允许 任意 增 大 或 缩小 集 
群 。 这 在 处 理 大 规模 部 署 时 是 非常 
据 库 仍然 可 用 。 









































重要 的 一 一 即使 若干 节点 发 生 故障 或 者 没有 响应 ， 数 














将 数据 分 布 于 多 个 服务 器 须 面 对 一 个 环 手 的 先天 问题 。 如 果 你 想 要 数据 库 在 网 络 分 区 


发 生 ( 即 ， 


持 可 用 ， 或 者 拒绝 请 求 ， 以 保证 数据 的 一 致 性 。 要 创建 一 个 具备 完全 一 致 性 、 可 用 性 与 分 
区 容错 性 的 分 布 式 数据 库 ， 是 不 可 能 的 。 你 只 能 保证 三 个 中 的 两 个 〈 分 区 容错 性 与 一 致 性 、 




















分 区 容错 怕 
性 ， 可 用 怕 




















某 些 消息 丢失 了 ) 时 依然 能 够 运行 ， 你 必须 做 一 个 权衡 。 或 者 对 服务 器 请 求 保 

























































































与 可 用 性 ， 或 者 一 致 性 与 可 用 性 但 非 分 布 式 数据 库 )。 这 称 为 CAP 定理 一致 
E， 分 区 容错 性 ，Consistency，Availability，Partition tolerance)。 详 见 附 录 2， 























足以 说 明 这 是 系统 设计 中 的 问题 。 


然而 ， 
区 容错 性 。 


























这 个 定理 有 个 漏洞 。 现 实 是 ， 在 任何 时 刻 ， 不 能 同时 保证 一 致 性 、 可 用 性 与 分 
Riak 利用 这 个 事实 ， 人 允许 在 每 个 请 求 的 基础 上 ， 以 可 用 性 交换 一 臻 性。 我 们 先 



































看 看 Riak 如 何 将 服务 器 组 成 集群 ， 然 后 讨论 如 何 调整 读 写 来 和 集群 交互 。 
1. Riak 环 


Riak 将 其 服务 器 配置 划分 为 分 区 ， 以 一 个 160 比特 的 数字 〈 即 2”) 表示 。Riak 团队 




















喜欢 用 圆圈 代表 这 个 巨大 的 整数 ， 他 们 称 之 为 环 。 当 把 一 个 键 哈 希 为 一 个 分 区 ， 这 个 环 会 























帮忙 指向 存 有 相应 值 的 服务 器 。 




















在 搭建 一 个 Riak 集群 时 ， 遇 到 的 第 一 个 问题 就 是 你 想 要 多 少 个 分 区 。 不 妨 考虑 这 样 的 
案例 ， 你 有 64 个 分 区 〈Riak 的 默认 分 区 数 )。 如 果 把 这 64 个 分 区 分 布 在 3 个 节点 《或 者 
服务 器 )，Riak 会 为 每 个 节点 分 配 21 或 者 22 个 分 区 〈64/3 )。 每 个 分 区 被 为 一 个 虚拟 节点 ， 
或 者 vnode。 每 个 Riak 服务 会 在 启动 时 计数 , 依次 清点 分 区 直到 所 有 的 vnode 都 清点 完毕 ， 





见 图 3-2。 






























































节点 A 管理 vnode 1、4、7、10…63。 这 些 vnode 映射 到 160 个 比特 表示 的 分 区 。 你 若 








查看 三 个 7 


开发 服务 器 的 状态 ( 记 住 昨天 讲 过 的 curl -H "Accept: text/plain" 


http://localhost:8091/stats), 会 见 到 如 下 所 示 的 一 行 : 





"ring ownership": \ 
"[{'dev3@127.0.0.1',21},{'dev2@127.0.0.1',21},{'dev1i@127.0.0.1',22}]" 














每 个 对 象 的 第 二 个 数字 就 是 该 节点 所 拥有 的 vnode 数量 。 一 共 是 64 (21+21+22)。 
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图 3-2 64 个 vnode 的 “Riak 环 ”， 分 布 于 3 个 物理 节点 














每 个 vnode 代表 一 系列 经 过 哈 希 的 键 。 当 插入 键 101 的 客房 数据 时 , 它 会 哈 希 到 vnode 
2 的 范围 ， 于 是 键 - 值 对 象 会 存储 在 节点 B。 这 么 做 的 好 处 在 于 ， 如 果 需 要 查找 键 存储 在 哪 
个 服务 器 ，Riak 只 需要 对 键 做 哈 希 运算 ， 找 到 对 应 的 vnode。 上 其 体 而 言 ，Riak 会 把 哈 希 转 
换 成 一 组 潜在 的 vnode， 并 使 用 其 中 的 第 一 个 。 


2. 节点 / 读 / 写 


Riak 允许 通过 改变 三 个 值 : N、W 与 R， 来 控制 集群 的 读 写 。N 是 一 次 写 入 最 终 复 制 
到 的 节点 数量 ， 换 句 话 说 ， 就 是 集群 中 的 副本 数量 。W 是 一 次 成 功 地 写 入 响应 之 前 ， 必 须 
成 功 写 入 的 节点 数量 。 如 果 W 小 于 N， 就 认为 某 次 写 入 是 成 功 的 ， 即 使 Riak 依然 在 复制 
数据 。 最 后 ，R 是 成 功 读 出 一 项 数据 所 必需 的 节点 数量 。 如 果 R 比 可 用 的 复制 数量 大 ， 读 
出 请 求 将 会 失败 。 

我 们 来 更 详细 地 研究 每 一 项 。 

当 在 Riak 中 写 入 对 象 时 , 可 以 选择 在 多 个 节点 上 创建 这 个 值 的 副本 。 这 么 做 的 好 处 是 ， 
如 果 某 个 节点 发 生 故 障 , 还 有 另 一 个 节点 上 的 副本 可 用 。 如 果 某 个 值 在 若干 节点 上 有 副本 ， 


这 些 节 点 的 数量 〈 即 N 的 值 ) 以 桶 属性 n_val 表示 ; 默认 为 3。 通 过 在 props 对 象 中 设 
置 新 值 ， 可 以 修改 桶 的 属性 。 此 处 ， 设 置 animals， 使 其 n_val 属性 为 4: 









































































































































































































































































































































$ curl -X PUT http://localhost:8091/riak/animals \ 
-有 "Content-Type: application/json" \ 
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-dd '{"props":{"n val":4}}" 





N 为 最 终 将 包含 正确 值 的 节点 总 数 。 但 这 并 不 意味 着 在 调用 返回 前 ， 我 们 必须 等 待 什 
复制 到 所 有 这 些 节 点 。 有 时 ， 我 们 只 希望 客户 端 立刻 返回 ， 让 Riak 在 后 台 复制 。 而 有 时 ， 
我 们 希望 等 待 ， 直 到 Riak 完成 所 有 N 个 节点 的 副本 复制 ， 才 让 客户 端 返回 。 

在 认为 一 次 操作 成 功 之 前 ， 把 必须 成 功 执行 的 写 操作 次 数 设置 为 泵 。 虽 然 最 终 会 写 入 
4 个 节点 ， 然 而 ， 如 果 把 W 设置 为 2， 仅 仅 在 生成 两 个 副本 之 后 ， 一 次 写 操 作 就 会 返回 。 
剩 下 的 两 个 节点 将 在 后 台 复制 。 




































































curl -X PUT http://localhost:8091/riak/animals \ 
-H "Content-Type: application/json" \ 
一 QQ 1 (DPEOBS Sm 























最 后 ， 还 能 使 用 R 的 值 。 一 次 成 功 的 读 操 作 之 前 ， 必 须 读 出 R 个 节点 的 值 。 可 以 为 R 
设置 默认 值 ， 就 如 之 前 处 理 n_val 与 w 一样 。 




















curl -X PUT http://localhost:8091/riak/animals \ 
-H "Content-Type: application/json" \ 
一 QQ VMDrEOBST tr 




















但 是 , Riak 还 提供 了 更 为 灵活 的 解决 方案 。 可 以 通过 在 每 个 请 求 的 URL 中 设置 参数 1， 
选择 我 们 想 读 的 节点 数量 。 




















curl http://localhost:8091/riak/animals/ace?r=3 























你 也 许 正在 问 自己 ， 为 何 需要 从 多 个 节点 读 取信 息 。 毕 竞 ， 写 入 的 值 最 终 会 复制 到 N 
个 节点 ， 可 以 从 其 中 任意 一 个 节点 读 取 。 为 说 明 这 个 问题 ， 我 们 发 现 可 视 化 方法 更 容易 解 
释 这 种 策略 。 关 于 高 可 用 性 的 漫画 见 图 3-3。 
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图 3-3 ”高 可 用 性 
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比如 ， 把 NRW 设置 成 {"n_val":3,， 


























的 "w":1}, 见 图 








3-4。 这 种 设置 使 系统 









































































































































的 写 入 操作 响应 更 快 ， 原 因 在 于 写 操作 返回 前 ， 上 只 要 写 入 一 个 节点 即 可 。 但 是 ， 存 在 一 
种 可 能 ， 恰 蕊 在 节点 同步 之 前 ， 另 一 个 读 出 操作 执行 了 。 即 使 从 两 个 节点 读 出 数据 ， 也 
有 可 能 得 到 一 个 旧 值 。 
B version: A 
W=1 R=2 
N=3 version: A 
图 3-4 最 终 一 任性 : W+R<N 
种 确保 我 们 能 够 读 到 最 新 值 的 方法 是 让 W=N、R=1， 就 像 这 样 : {"n_val":3， 
"rm 1, "w":3}〔 见 图 3-5)。 从 本 质 上 讲 ， 这 就 是 关系 数据 库 的 做 法 ， 通过 确保 写 操作 
在 返回 之 前 完成 ， 以 保证 一 致 性 。 但 是 ， 这 确实 会 降低 写 操作 的 性 能 。 
人 B Version: B 
W=N R=1 





N=3 


version: Blversion: Blversion: B 


图 3-5 写 操作 实现 一 致 性 ，W=N，R=1 

















可 以 上 只 写 入 单个 节点 ， 而 从 全 部 节点 读 出 。 让 Wl1、R=N， 就 像 这 样 : 
此 读 到 一 些 旧 值 ， 但 你 也 
新 值 ( 通 过 一 个 向 量 时 
因此 


或 者 ， 
{"n_val"m:3, "rm:3,，"w":1} ( 见 图 3-6)。 尽 管 你 可 能 因 
能 保证 检索 到 最 新 的 值 。 这 时 ， 你 必须 要 做 的 只 是 找 出 哪个 是 最 
钟 实 现 ， 我 们 明天 会 进行 讨论 )。 当 然 ， 这 也 会 带 来 副作用 ， 如 前 所 示 ， 读 操作 会 


= 











































































































减 慢 。 
Ph 选 择 ， 可 以 让 W=2、R=2， 就 如 {"n_val":3,“"r":2,，"w":2} 这 样 ( 见 图 
i 依然 可 


还 有 一 利 
3-7)。 在 这 种 方法 中 ， 只 需要 写 入 多 于 一 半 的 节点 ， 并 从 多 于 一 半 的 节点 读 出 ， 识 
以 保证 一 致 性 。 同 时 ， 分 担 介 于 读 写 之 间 的 延 时 。 这 称 为 法 定数 “quorum )， 是 看 


一 致 性 的 方法 中 开销 最 小 的 。 









































保 数据 
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version: B version: [B, A] 


=1 R=N 








图 3-6 读 操 作 实 现 一 致 性 : W=1，R=N 


version: B version: [B, A] 


W=2 R=2 





version: Blversion: Blversion: A 





图 3-7 ”法 定数 实现 一 致 性 ，WHR>N 

















可 以 把 RR 或 者 W 自由 地 设置 为 1~N 之 间 的 值 ， 但 一 般 会 选 定 1、N 或 者 法 定数 。 这 


些 是 R 和 W 可 用 的 常见 值 ， 以 字符 串 表 示 ， 定 义 见 下 表 : 











































































































































































































术 语 定 义 
这 就 是 值 1。 设 置 W 或 R 意 味 着 只 需要 有 一 个 节点 响应 ， 请 求 就 成 功 了 
全 部 这 和 值 N 是 一 样 的。 将 W 或 R 设 置 为 这 个 值 意味 着 所 有 复制 的 节点 必须 响应 
法 定数 这 意味 着 将 值 设置 为 W2+1。 设 置 WW 或 R 意 味 着 过 半数 节点 必须 响应 才 算 成 功 
默认 值 不 管 桶 的 WW 或 R 值 设置 为 什么 。 通常 默认 值 是 3 













































































这 些 值 除了 作为 合法 的 桶 属性 ， 也 能 将 它们 用 做 查询 参数 值 。 

















curl http://localhost:8091/riak/animals/ace?r=all 











从 所 有 节点 读 出 数据 的 危险 在 于 ， 一 旦 某 个 节点 出 现 故障 ，Riak 可 能 无 法 满足 你 的 读 
请 求 。 作 为 实验 ， 关 闭 开发 服务 器 dev3。 








$ dev/dev3/bin/riak stop 





























现在 如 果 尝 试 从 所 有 节点 读 取 数 据 ， 请 求 失 败 的 概率 会 很 大 (如 果 请 求 没有 失败 ， 可 
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以 尝试 把 dev2 也 关闭 ， 或 者 关闭 dev1， 并 从 端口 8092 或 者 8093 读 取 数据 ， 我 们 无 法 控 
制 Riak 会 写 入 哪个 vnode)。 








$ curl -i http://localhost:8091/riak/animals/ace?r=all 

HTTP/1.1 404 Object Not Found 

Server: MochiWeb/1.1 WebMachine/1.7.3 (participate in the frantic) 
Date: Thu, 02 Jun 2011 17:18:18 GMT 

Content-Type: text/plain 

Content-Length: 10 


not found 





如 果 你 的 请 求 无 法 满足 , 会 得 到 404 错误 代码 (未 找到 对 象 ), 这 在 HITP 请 求 的 领域 
内 , 是 合理 的 结果 。 无 法 找到 检索 对 象 的 原因 是 , 没有 足够 的 副本 以 满足 URL 请 求 。 当然， 
这 不 是 什么 好 事 ， 因 而 迫使 Riak 进行 读 操作 修复 : 从 依然 可 用 的 节点 服务 器 请 求 键 的 N 
个 副本 。 如 果 尝 试 再 次 访问 同一 URL, 会 取 到 键 的 值 而 不 是 404 错误 。Riak 在 线 文 档 中 有 
一 个 用 Erlang 实现 的 范例 !。 






































































































































然而 ， 一 种 更 可 靠 的 做 法 是 寻求 一 个 法 定数 (从 大 部 分 而 非 全 部 vnode 获取 数据 )。 








curl http://localhost:8091/riak/animals/polly?r=quorum 











只 要 在 每 次 写 操作 时 ， 强 制 写 入 法 定数 量 的 节点 ， 就 能 保证 读 操作 的 一 致 性 。 另 一 个 
可 以 动态 设置 的 值 是 W。 









































你 若 不 想 等 待 Riak 写 入 任何 节点 ， 不 妨 把 W 设置 为 0， 意 思 是 “Riak， 我 相信 你 会 将 
数据 写 入 ; 只 管 返回 吧 ” 








curl -X PUT http://localhost:8091/riak/animals/jean?w=0 \ 
-H "Content-Type: application/json" 


-qd '{"nickname" : "Jean", "breed" : "Border Collie"}' \ 






































将 这 种 可 定制 化 的 功能 置 于 一 旁 ， 除 非 有 足够 好 的 理由 ， 和 否则 大 部 分 时 间 你 会 选择 使 用 
默认 设置 。 让 W=0， 对 日 志 是 非常 适用 的 配置 ， 而 让 W=N 且 R=1， 很 适合 高 速 读 取 数据 ， 极 
少 写 入 数据 的 场景 。 


3. 写 入 与 持久 化 写 入 





































































































我 们 一 直 对 你 保守 着 一 个 秘密 。Riak 的 写 入 操作 未 必 是 持久 化 的 ， 也 就 是 说 ， 数 据 并 
非 立 刻写 入 磁盘 。 即 使 一 个 节点 的 写 入 操作 成 功 执行 ， 依 然 可 能 因为 故障 而 丢失 这 个 节点 























! http://wiki.basho.com/Replication.html 
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中 的 数据 ， 就 算 瑟 王 N， 节 点 服务 器 也 会 发 生 故 障 ， 丢 失 数 据 。 写 入 的 数据 在 存 到 磁盘 之 
前 ， 会 于 内 存 中 缓存 片刻 ， 而 这 毫秒 的 间 除 正 是 危险 的 所 在 。 
这 的 确 是 个 坏 消息 。 但 好 消息 是 Riak 提供 了 名 为 DW 的 单独 设置 ， 用 于 持久 化 写 入 。 
在 这 种 设置 下 ， 直 到 对 象 写 入 给 定数 量 的 节点 上 的 磁盘 ，Riak 才 会 成 功 返回 ， 因 此 ， 这 会 
减 慢 速度 ， 同 时 降低 风险 。 这 里 把 dw 设置 为 1， 以 确保 至 少 一 个 节点 保存 数据 。 















































































































































$ curl -X PUT http://localhost:8091/riak/animals \ 
-H "Content-Type: application/json" \ 


-d'!' {"props" :{"dw":"one"}}' 






































或 者 ， 如 果 你 愿意 ， 可 以 基于 每 个 写 操作 ， 使 用 URL 中 的 查询 参数 aw 进行 设置 。 
4. 关于 临时 转移 的 说 明 


尝试 写 入 不 可 用 的 节点 仍然 会 执行 成 功 ， 并 得 到 这 样 的 返回 “204 No Content”。 这 是 
因为 Riak 会 把 数据 先 写 入 附近 的 一 个 节点 , 该 节点 一 直 保 存 数据 ， 直 到 它 能 将 这 些 数 据 交 
给 不 可 用 的 节点 。 这 在 短期 内 是 一 个 很 棒 的 安全 网 ， 因 为 一 个 节点 服务 器 一 旦 出 现 故障 ， 
另 一 个 Riak 节点 将 接管 。 当 然 ， 如 果 服 务 器 A 的 所 有 请 求 都 转发 到 服务 器 B， 服 务 器 B 
就 得 处 理 双 倍 的 负载 。 这 里 存在 一 种 风险 ， 服 务 器 B 可 能 因为 高 负载 而 出 现 故 障 ， 于 是 渐 
渐 草 延 到 服务 器 C 和 DD， 如 此 类 推 。 这 称 为 级 联 故障 (cascading failure)， 罕 见 但 依然 可 能 
发 生 。 不妨 认为 这 是 一 个 郑重 的 警告 ， 不 要 耗 尽 每 台 Riak 服务 器 的 负载 ， 说 不 定 在 某 个 时 
刻 ， 某 个 节点 服务 器 就 必须 填补 缺口 。 

















































































































3.3.5 第 2 天 总 结 





今天 , 我 们 学 习 了 Riak 的 两 大 主题 : 强大 的 mapreduce 方法 和 灵活 的 服务 器 集群 能 力 。 
mapreduce 在 本 书 中 的 许多 其 他 数据 库 中 也 用 到 ， 所 以 如 果 你 对 它 还 有 疑问 ， 我 们 建议 你 
重新 阅读 第 2 天 的 第 一 部 分 ， 并 查看 Riak 的 在 线 文档 ! 和 Wikipedia2 上 的 文章 。 


第 2 天 作业 
求索 
1. 阅读 关于 Riak mapreduce 的 在 线 文档 。 


2. 在 大 量 预 构建 的 mapreduce 函数 中 ， 找 到 Riak 贡献 的 函数 库 。 

































































! http://wiki.basho.com/MapReduce.html 
2 http://en.wikipedia.org/wiki/MapReduce 
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3. 从 在 线 文档 中 找到 键 过 滤器 的 完整 列表 ， 包 括 字 符 串 转换 过 滤器 to_upper， 查 
找 数字 的 过 滤器 ， 甚 至 涉及 一 些 简 单 的 Levenshtein distance! 字 符 串 匹配 ， 以 及 风 
辑 操 作 符 与 /或 / 非 。 


实践 
1. 针对 rooms 桶 ， 编 写 man 和 reduce 函数 ， 碍 询 每 层 楼 客房 的 总 容量 
2. 以 过 滤器 扩展 前 面 编 写 的 函数 ， 仅 查找 42 层 和 43 层 的 客房 容量 。 
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3.4 第 3 天 : 解决 冲突 和 扩展 Riak 











今天 将 探索 Riak 的 边缘 地 带 。 我 们 已 经 看 到 Riak 是 一 个 如 何 简单 的 分 布 式 键 值 数据 
库 。 在 处 理 多 个 节点 的 时 候 ， 可 能 发 生 数据 冲突 ， 而 有 时 ， 我 们 不 得 不 解决 它们 。 通 过 向 
量 时 钟 与 同 级 解决 方案 (sibling resolution)，Riak 提供 了 一 种 机 制 ， 理 清 写 操作 的 发 生 顺 
序 ， 找 出 最 近 的 写 入 操作 。 
我 们 也 会 看 到 ， 通 过 提 之 前 /后 钩子 程序 (pre-/post-commit hooks) 如 何 验证 传 入 数据 的 。 


此 外 ， 我 们 将 用 Riak 搜索 ， 把 Riak 扩展 到 我 们 自己 的 个 人 搜索 引擎， 以 及 通过 二 级 索引 实现 
更 快 的 查询 。 






































































































































3.4.1 以 向 量 时 钟 解决 冲突 


向 量 时 钟 "是 像 Riak 这 样 的 分 布 式 系统 所 使 用 的 令 牌 ， 用 以 理 顺 发 生 冲 突 的 键 值 更 新 
顺序 ， 确 保 服 务 器 上 的 数据 正确 有 效 。 由 于 若干 客户 端 可 能 连接 到 不 同 的 服务 器 ， 并 且 一 
个 客户 端 更 新 这 个 服务 器 ， 另 一 个 客户 端 更 新 那个 服务 器 〈 你 无 法 控制 写 入 哪个 服务 器 )， 
办 此 记录 哪些 更 新 以 怎样 的 顺序 发 生 ， 是 非常 重要 的 。 


你 或 许 在 想 “ 给 值 加 上 时 间 截 ， 采 用 时 间 戳 最 新 的 值 即 可 ” 但 是 ， 这 种 做 法 仅仅 在 所 
有 节点 服务 器 的 时 钟 完全 同步 的 集群 中 起 效 。Riak 对 此 不 做 要 求 ， 事 实 上 ， 保 持 时 钟 同步 
是 最 为 困难 的 ,在 许多 情况 下 ， 甚 至 是 不 可 能 的 。 使 用 集中 式 的 时 钟 系统 是 对 Riak 哲学 的 
诅咒， 显然 ， 它 意味 着 单 点 故障 的 可 能 性 。 


向 量 时 钟 通过 这 种 方式 发 挥 作 用 一 一 对 每 个 键 值 事件 〈 创 建 、 更 新 或 者 删除 ) 做 
标记 ， 标 记 包 含 两 项 内 容 : 哪个 客户 端 更 新 了 数据 与 以 哪 种 顺序 更 新 。 在 此 基础 上 ， 















































































































































































































































1! Levenshtein distance， 即 编辑 距离 ， 详 见 http://en.wikipedia.org/wiki/Levenshtein_distance 译 者 注 


? http://en.wikipedia.org/wiki/Vector_clock 














客户 端 或 者 应 用 


之 类 的 版 本 控 
无 不 同 。 


1. 


委员 
会 成 员 (Bob、 




















理论 中 的 向 量 时 钟 

既然 你 的 本 
策 ， 你 筹备 了 一 个 由 三 位 动 4 
会 为 每 个 4 


\ 狗 旅馆 运作 








\ 狗 评分 ， 
Jane 和 Rakshith 








发 者 , 得 以 决定 谁 
制 系统 ， 不 难 发 现 ， 在 解决 


良好 ， 你 必 
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必须 开 








) 必须 完全 达成 一 致 。 











每 名 委员 把 








巴 自己 的 客户 端 连接 3 


一 无 二 的 惟一 一 客户 端 ID。 客 户 
中 最 后 的 习 








Pp 个。 我 人 
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已 LI 














] 来 看 








个 简 让 








到 数据 库 服务 器 ， 


ID 用 来 组 成 向 量 时 
的 伪 代 码 示例 ， 


Bob 首先 创建 一 个 对 象 ， 其 中 包含 名 为 Bruiser 的 3 











时 钟 为 他 的 名 字 与 版 本 进行 如 下 编码 。 














F 的 版 本 冲突 


和 对 客户 有 更 强 的 选择 性 。 为 了 做 出 最 好 
专家 组 成 的 委员 会 ， 帮 忙 训 
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在 冲突 中 胜出 。 如 果 你 熟悉 像 Git 或 者 Subversion 
两 个 人 修改 同一 文 作 


站 时， 本 质 并 


的 决 


FE 判 哪些 新 的 小 狗 是 不 错 的 选择 。 


分 数 介 于 1 (不 够 好 的 选择 ) ~4〔( 完 美的 候选 ) 之 间 。 所 有 委员 














并 且 每 个 客户 端 会 为 每 个 请 求 盖 上 独 








名 














》 

















新 来 小 狗 








并 追踪 更 新 对 象 头 部 的 客户 端 


稍 后 尝试 Riak 中 的 例子 。 


的 分 数 ， 体 面 的 3 分 。 


向 








vclock: bob[1] 


Value : 


{score : 


3] 





Jane 取 到 这 条 记录 ， 给 Bruiser 的 订 
Bob 的 vclock， 所 以 Jane 的 版 本 1 追加 到 向 量 的 最 后 。 


分 为 2。 











为 Jane 的 更 


新 所 他 
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ee 





建 的 vclock 继承 自 



























































































































































vclock: bob[1], jane[1] 

value: {score : 2} 

同时 ，Rakshith 取 到 Bob 所 创建 但 Jane 尚未 更 新 的 版 本 。 他 喜欢 Bruiser， 并 给 了 4 

。 和 Jane 一 样 ， 他 的 客户 端 名 字 也 以 版 本 1， 追 加 到 向 量 时 钟 的 末尾 。 

vclock: bob[l1], rakshitht[1] 

value: {score : 4} 

当天 了 晚 些 时 候 , Jane( 作 为 委员 会 主席 ) 复查 了 评分 。 由 于 Rakshith 的 更 新 向 量 与 Jane 
的 更 新 问 量 并 列 ， 并 未 出 现在 Jane 的 更 新 向量 之 后 ， 因 此 需要 解决 存在 冲突 的 更 新 。 因 为 
Jane 取 到 了 两 条 记录 ， 如 何 解决 冲突 全 由 她 决定 。 

vclock: bob[1], jane[1] 

value: {score : 2} 
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vclock: bob[l1], rakshith[1] 


value: {score : 4} 





























她 选择 折 中 ， 于 是 把 分 数 更 新 为 3。 





~ 





vclock: bob[1], rakshith[1], jane[2] 


value: {score : 3} 











问题 解决 了 一 一 这 个 时 刻 之 后 ， 任 何人 请 求 这 条 记录 ， 都 会 取 到 最 新 的 值 。 
2. 实践 中 的 向 量 时 钟 
我 们 用 Riak 运行 一 遍 前 面 例子 所 描述 的 场景 。 


在 这 个 例子 中 ， 我 们 希望 看 到 所 有 的 冲突 版 本 ， 以 便 能 通过 将 它们 手动 解决 。 通 过 设 
置 animals 桶 的 allow_mult 属性 ， 可 以 保存 多 个 版 本 的 记录 。 任 何 包含 多 个 值 的 键 ， 
称 为 同 级 数据 (sibling value)。 





































































































$ curl -X PUT http://localhost:8091/riak/animals \ 
-H "Content-Type: application/json" \ 
= "I"props" tallow mlt"strue}}" 























这 里 ，Bob 以 PUT 方法 在 系统 中 提交 记录 ， 其 中 包含 评分 3 以 及 他 的 客户 端 ID bob。 

















$ curl -i -X PUT http://localhost:8091/riak/animals/bruiser \ 
-了 "X-Riak-ClientId: bob" \ 
-H "Content-Type: application/json" \ 


= {Score .38 


























Jane 和 Rakshith 都 取 到 Bob 所 创建 的 数据 (只 在 这 里 显示 了 向 量 时 钟 ， 你 得 到 的 头 信 
息 会 多 很 多 。 


注意 ，Riak 对 Bob 的 vclock 做 了 编码 , 但 是 在 编码 的 背后 ， 它 依然 包含 客户 端 和 版 本 
(以 及 时 间 截 ， 所 以 你 的 查询 结果 会 与 这 里 看 到 的 有 所 不 同 ) 信息 。 

































































$ curl -i http://localhost:8091/riak/animals/bruiser?return body=true 
X-Riak-Vclock: a85hYGBgzGDKBVIS7NtEXmUwJTLmsTI8EFMS5zPCEAA== 


(SCoze" 3 








Jane 将 评分 更 新 为 2, 并 包含 了 她 从 Bob 的 版 本 中 获取 的 最 新 向 量 时 钟 。 对 Riak 而 言 ， 
这 是 一 个 信号 ， 告 诉 Riak 她 提交 的 值 是 对 Bob 的 版 本 的 更 新 。 





























$ curl -i -XxX PUT http://localhost:8091/riak/animals/bruiser \ 


-H "X-Riak-ClientId: jane" \ 


3.4 
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-H "X-Riak-Vclock: a85hYGBgzGDKBVIsS7TNtEXmUwJTLmMsSTI8FMs5zZpCFAA==" \ 


-H "Content-Type: application/json" \ 


=Q TSeoren 3 2} 























于 Jane 和 Rakshith 同时 获取 Bob 的 数据 ， 因 
交 了 一 个 更 新 〈 评 分 为 4)。 








此 Rakshith 也 基于 Bob 的 向 量 时 钟 提 








$ curl -i -Xx PUT http://localhost:8091/riak/animals/bruiser \ 


-H "Xx-Riak-Clientid: rakshith" 


\ 


-H "X-Riak-Vclock: a85hYGBgzGDKBVIsS7TNtEXmUwJTLmMsSTI8FMs5ZpCFAA==" \ 


-H "Content-Type: application/json" \ 


-dd "(SCOre, 3} 





当 Jane 复查 评分 时 ， 看 到 的 不 是 预 
含 两 个 同 级 数据 的 HTTP 响应 体 。 























期 的 数据 ， 而 是 代表 多 个 选择 的 HTTP 编码 以 及 包 





$ curl http://localhost:8091/riak/animals/bruiser?return body=true 


Siblings: 
637aZSiky6281lxlYrstzH5 
7F85FBAINW8eiD9ubsBAeVK 





Riak 以 multipart 格式 存储 这 些 版 本 ， 所 以 她 能 通 
对 象 。 











过 接受 MIME 








类 型 ， 获 取 完 整 的 





$ curl -i http://localhost:8091/riak/animals/bruiser?return body=true \ 


-H "Accept: multipart/mixed" 


HTTP/1.1 300 Multiple Choices 


X-Riak-Vclock: a85hnYGBgyWDKBVHs20Re.. .OYn9XY4sskQUA 


Content-Type: multipart/mixed; boundary=1QwWnlntX3gZmYQVBG6mAZRVX1u 


Content-Length: 409 


—-1l1QwWnlntX3g9ZmYQVBG6mAZRVX1u 
Content-Type: application/json 
Etag: 637azZSiky6281lxlYrstzH5 


{"score" : 4} 
-1lQwWnlntX3gZmYQVBG6mAZRVX1Uu 
Content-Type: application/json 
Etag: 7F85FBAIW8eiD9ubsBAeVK 
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{"score" : 2} 


—-1l1QwWnlntX3gZmYQVBG6mAZRVX1U— 








请 注意 ， 前 面 所 示 的 同 级 数据 是 设置 为 特定 值 的 HTTP Etag (Riak 称 之 为 vtag)。 一 个 值 
得 注意 的 有 趣 方面 是 ， 可 以 指定 URL 中 的 vtag 参数 ， 只 检索 对 应 的 版 本 : curl 
http://localhost:8091/riak/animals/bruiser?vtag=7F85FBAIW8eiD9ubsBAe 
Vk 会 返回 {"score" : 2}。 


Jane 现在 的 工作 是 用 这 点 信息 ， 做 出 合理 的 更 新 。 她 决定 取 两 个 评分 的 均值 3 分 ， 用 
给 定 的 向 量 时钟 解 决 冲突 。 













































































$ curl -i -X PUT http://localhost:8091/riak/animals/bruiser?return body=true \ 
-了 "X-Riak-ClientId: jane" \ 

-H "X-Riak-Vclock: a85hYGBgyWDKBVHs20Re.. .OYn9XY4sskQUA" \ 

-H "Content-Type: application/json" \ 


-d '{"score™" : 3}' 








如 果 Bob 和 Rakshith 现在 检索 bruiser 的 信息 ， 他 们 会 得 到 解决 冲突 后 的 评分 。 




















$ curl -i http://localhost:8091/riak/animals/bruiser?return body=true 
HTTP/1.1 200 OK 
X-Riak-Vclock: a85hYGBgyWDKBVHs20Re.. .CPpQmAkoNnCcHFM4CAA== 


{"score" : 3} 








任何 将 来 的 请 求 都 会 返回 3 分 。 
3. 时 间 不 断 增长 


你 或 许 已 经 注意 到 向 量 时钟 会 随 着 越 来 越 多 的 客户 端 更 新 操作 ， 而 不 断 增长 。 这 
是 向 量 时 钟 的 一 个 基本 问题 ， 对 此 Riak 开发 人 员 早 已 意识 到 了 。 他 们 扩展 向 量 时 钟 ， 
让 它 随 着 时 间 推 移 不 断 “ 人 修剪”， 从 而 保持 足 较 小 的 大 小 。Riak 修剪 老 的 向 量 时 钟 
的 比率 定义 于 桶 的 属性 中 ， 可 以 通过 浏览 桶 ， 查 看 这 个 比率 属性 (以 及 桶 的 其 他 所 有 
属性 )。 

















































































































$ curl http://localhost:8091/riak/animals 











你 会 看 到 如 下 一 些 属性 ， 它 们 规定 了 Riak 如 何在 向 量 时 钟 变 得 太 大 之 前 ， 进 行 修剪 。 











"small vclock":10, "big veclock":50,"young vclock":20,"0ld vclock":86400 
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small vclock 和 big vclock 决定 了 向 量 的 最 小 和 最 大 长 度 ， 而 young vclock 与 
old_vclock 则 描述 了 vclock 在 修剪 之 前 的 最 小 和 最 大 年 龄 。 


你 可 以 在 线 阅 读 向 量 时 钟 与 修剪 的 更 多 内 容 。" 
4. 提交 前 /后 钧 子 程序 


Riak 可 以 在 存储 对 象 之 前 或 者 之 后 ,通过 钩子 程序 转化 数据 。 提 交 前 /后 钧 子 程序 是 在 
提交 数据 前 后 执行 的 简单 的 JavaScript (或 者 Erlang) 函数 。 提 交 前 函数 能 以 某 种 方式 修改 
传 入 对 象 〈《 甚 至 可 以 使 提交 失败 )， 而 提交 后 函数 可 以 对 成 功 的 提交 做 出 响应 〈 例 如 ， 写 入 
日 志 或 者 向 某 个 目的 地 址 发 送 电子 邮件 )。 


每 个 节点 服务 器 都 有 一 个 名 为 app.config 的 文件 ， 需 要 在 其 中 引用 定制 JavaScript 
程序 的 位 置 。 首先 , 打开 服务 器 devl 的 配置 文件 , 路 径 为 dev/devl/etc/app.config, 
找到 js_source_gir 所 在 行 。 然 后 ， 将 它 替 代为 你 期 望 的 任何 路 径 〈 注 意 ， 该 行 可 能 被 
s 字 符 注释 掉 ， 所 以 得 先 删除 多 )。 修 改 之 后 的 行 如 下 ; 



























































































































































































































































{js_source dir,"~/riak/js_ source"}, 


























需要 重复 三 次 这 种 修改 ， 每 个 开发 服务 器 一 次 。 不 妨 创建 一 个 验证 器 ， 在 提交 之 前 
解析 传 入 的 数据 ， 保 证 输入 中 有 评分 信息 并 在 1~4 分 之 间 。 一 旦 违背 这 些 标准 ， 就 会 抛 出 
错误 ， 验 证 器 会 返回 JSON 对 象 ， 其 中 仅 包 含 {"fail" : message}， 这 里 的 message 
可 以 是 我 们 希望 返回 给 用 户 的 任何 信息 。 如 果 数 据 是 期 望 中 的 ， 只 需要 返回 对 象 ，Riak 会 将 
它 存 储 起 来 。 


































































































riak/my validators.js 
function good score(object) { 
try { 
/* from the Riak object, pull aata ana parse it as USON */ 
va data = JSON.parse( object.values[0] .data ); 
/* if score is not found, fail here */ 
if( !data.score | data.score === '" ) { 
throw( 'Score is required' ); 
} 
/* if score is not within range, fail here */ 
if( data.score < 1 || data.score > 4 ) { 


throw( 'Score must be from 1 to 4' ); 


catch( message ) { 


! http://wiki.basho.com/Vector-Clocks.html 
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/* Riak expects the following JSON if a failure 
return { "fail" : message }; 
} 
/* No problems found, so continue */ 


return object; 


occurs */ 

















把 这 个 文件 存放 在 你 所 设置 的 文件 夹 j]s_source_qir 中 
配置 ， 因 此 需要 用 restart 参数 重启 所 有 开发 服务 器 。 














。 由 于 改变 了 核心 服务 器 的 








$ dev/devl/bin/riak restart 
$ dev/dev2/bin/riak restart 
$ dev/dev3/bin/riak restart 















































Riak 会 扫描 所 有 .js 扩展 名 的 文件 , 并 将 它们 加 载 到 内 存 
属性 设置 为 JavaScript 的 函数 名 (不 是 文件 名 )， 这 样 就 能 使 















































。 可 以 将 桶 的 precommit 


| 该 JavaScript 函数 。 








curl -X PUT http://localhost:8091/riak/animals \ 
-H "content-type:application/json™" \ 


-d '{"props":{"precommit":[{"name" : "good score"™}]}}' 
prop 





























在 1 一 4 之 间 ， 所 以 下 面 的 操作 将 会 失败 : 





通过 设置 一 个 大 于 4 的 评分 ， 来 测试 新 的 钩子 程序 。 提 交 前 钩子 程序 强制 评分 的 范 


二 














curl -i -X PUT http://localhost:8091/riak/animals/bruis 
-H "Content-Type: application/json" -d '{"score" : 5}"' 
HTTP/1.1 403 Forbidden 

Content-Type: text/plain 

Content-Length: 25 


Score must be 1 to 4 


er AN 











你 会 得 到 禁止 访问 的 代码 403， 以 及 在 “fail” 域 中 返回 的 普通 文本 错误 消息 。 如 
果 用 GET 方法 查询 pruiser 的 值 ,， 它 的 评分 依然 是 3。 尝 试 把 评分 设置 为 2， 操作 就 



























































提交 后 钧 子 程序 与 提交 前 类 似 ， 只 是 发 生 在 提交 成 功 之 后 。 因 为 只 能 用 Erlang 编写 提 





























交 后 钩子 程序 , 所 以 在 此 会 略 过 这 部 分 内 容 。 事实 上 , 也 可 以 编 








号 Erlang 实现 的 mapreduce 


























函数 。 但 是 Riak 之 旅 将 在 其 他 预 置 模块 与 扩展 部 分 继续 。 
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3.4.2 扩展 Riak 











Riak 的 若干 扩展 在 Riak 交付 的 版 本 中 是 默认 关闭 的 ， 这 些 扩展 实现 了 一 些 新 的 行为 ， 
你 会 发 现 它们 很 有 用 。 


1. 搜索 Riak 


Riak 搜索 会 扫描 Riak 集群 内 的 数据 ， 并 对 此 建立 倒 排 索引 (inverted index)。 你 或 许 
会 从 第 2 章 想起 术语 倒 排 索 引 (CGIN index 代表 Generalized Inverted Index )。 正 如 GIN 一 样 ， 
Riak 索引 的 存在 ， 使 各 种 字符 串 搜 索 在 分 布 式 环境 中 快速 高 效 。 


1 用 它 `*， 将 Riak 搜索 配置 设置 为 














































































































还 
| 


使 用 Riak 搜索 需要 在 app.config 文件 
enabled, true。 





























gs 要 Riak Search Config 

{riak search, [ 
$$%$ To enable Search functionality set this 'true'. 
{enabled, true} 

]}, 








几 


如 果 你 熟悉 Lucene 之 类 的 搜索 引擎 ， 这 部 分 应 该 是 小 菜 一 矶 。 如 果 不 是 ， 很 容易 人 





























要 通过 提交 前 钧 子 程序 ， 让 Riak 搜索 引擎 知道 我 们 在 数据 库 中 改变 了 数据 。 可 
以 在 新 的 animals 桶 中 安装 riak_search_kv_hook, 它 是 Erlang 模块 的 提交 前 函数 ， 
令 如 下 : 















































$ curl -X PUT http://localhost:8091/riak/animals \ 
-H "Content-Type: application/json" \ 
-d '{"props":{"precommit": 


[{"mod": "riak search kv hook", "fun":"precommit"™}]}}" 














调用 命令 curl http://localhost:8091/riak/animals, 会 显示 钧 子 程序 已 
经 加 到 animals 桶 的 precommit 属性 。 现 在 ， 当 向 animals 桶 以 PUT 方法 提交 JSON 
或 者 XML 编码 的 数据 时 ，Riak 搜索 引擎 会 对 名 字 与 值 进行 索引 。 我 们 上 传 一 些 新 的 小 
动物 。 













































































$ curl -X PUT http://localhost:8091/riak/animals/dragon \ 
-H _ "Content-Type: application/json" \ 
-Q '{"nickname" : "Dragon", "breed" : "Briard", "score™ : 1 }" 


$ curl -X PUT http://localhost:8091/riak/animals/ace \ 
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-H "Content-Type: application/json" \ 

-Q '{"nickname" : "The Wonder Dog", "breed" : "German Shepherd", "score™ : 3 }" 
$ curl -X PUT http://localhost:8091/riak/animals/rtt \ 

-H "Content-Type: application/json" \ 


-Q '{"nickname" : "Rin Tin Tin", "breed" : "German Shepherd", "score™ : 4 }" 

















有 几 种 选择 可 以 查询 这 项 数据 ， 不 妨 使 用 Riak 的 HTTP Solr 接口 (实现 了 Apache 的 











Solr! 搜 索 接 口 )。 为 搜索 /animals， 访问 这 样 的 URL，/solr 后 跟 桶 名 /animals， 以 


及 /select 命令 。 而 参数 指定 了 搜索 条 件 。 





























这 里 选择 任何 包含 单词 Shepherd 的 品种 。 














$ curl http://localhost:8091/solr/animals/select?q=breed:Shepherd 
<?xml version="1.0" encoding="UTF-8"?> 
<response> 
<lst name="responseHeader"> 
<int name="status">0</int> 
<int name="QTime">1</int> 
<lst name="params"> 
<str name="indent">on</str> 
<str name="start">0</str> 
<str name="q">breed:Shepherd</str> 
<str name="q.op">or</str> 
<str name="df">value</str> 
<str name="wt">standard</str> 
<str name="version">1.1</str> 
<str name="rows">2</str> 
< 七 > 
</1lst> 
<result name="response" numFound="2" start="0" maxScore="0.500000"> 
<doc> 
<str name="id">ace</str> 
<str name="breed">German Shepherd</str> 
<str name="nickname">The Wonder Dog</str> 
<str name="score">3</str> 
</doc> 
<doc> 
<str name="id">rtt</str> 
<str name="breed">German Shepherd</str> 


<str name="nickname">Rin Tin Tin</str> 


! http://lucene.apache.org/solr/ 
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<str name="score">4</str> 
</doc> 
</result> 
</response> 
如 果 你 喜欢 该 查询 返回 JSON, 不 妨 增加 参数 wt=json。 可 以 在 查询 中 合并 多 个 参数 ， 




















nickname 


含 


中 包 





只 需 用 空格 〈 或 者 URL 编码 形式 的 %20) 隔 
rin， 且 breed : 


























它们 ， 并 将 参数 q. op 
F， 执 行 下 面 的 命 








yd 含 shepherd 的 品 利 

















设置 为 and。 要 找 





到 








$ curl http://localhost:8091/solr/animals/select\ 


?wt=json&q=nickname:rin%20breed: shepherd&q.op=and 















































一 个 字符 )， 尽 管 只 能 用 在 搜索 项 的 末 




















范围 搜索 也 是 很 好 的 一 种 选择 。 

















J 





尾 。 查 询 nickname :Dragx 会 匹配 Dragon， 但 
nickname:*ragon 不 会 匹配 任何 数据 。 


多 个 字符 ， 用 ?匹配 


=} 


人 











kname: [dog TO drag] 








基于 布尔 运算 符 、 分 组 与 邻近 搜索 ， 可 以 实现 更 多 的 复杂 查询 。 除 此 之 外 ， 可 以 指定 
































EE 义 的 数据 编码 ， 建 立 自 定义 索引 ， 其 至 帮 




















E 搜 索 时 选择 两 者 之 一 。 


也 可 以 在 下 表 中 找 


到 


















































































































































其 他 URL 参数 : 
参 数 描 述 默 认 值 
Q 给 定 的 查询 字符 串 
q.op 查询 项 之 间 是 and 还 是 or or 
Sort 排序 依据 的 字段 名 none 
Start 匹配 列表 中 返回 的 第 一 个 对 象 0 
Rows 返回 结果 的 最 大 行 数 20 
Wt 输出 是 xml 还 是 json xml 
Index 指定 要 用 的 察 3 引 
关于 Riak 的 搜索 扩展 ， 还 有 大 量 内 容 可 以 学 习 ， 远 远 多 于 这 里 所 能 讨论 的 内 容 。 理 想 
情况 下 ， 你 已 能 感受 到 Riak 搜索 的 强大 。 如 果 你 打算 为 大 规模 Web 应 用 提供 搜索 功能 ， 
Riak 是 一 个 明确 的 选择 ， 但 是 你 若 需 要 大 量 简单 的 自由 定义 的 查询 ， 有 必要 再 次 评估 你 的 
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2. 索引 Riak 


在 1.0 版 本 ，Riak 支持 二 级 索引 。 这 与 我 们 在 PostgreSQL 中 看 到 的 索引 类 似 ， 但 是 也 
略 有 不 同 。Riak 允许 你 对 附 在 对 象 头 的 元 数据 索引 ， 而 不 是 对 特定 的 列 或 者 数据 列 索 引 。 


再 次 说 明 ， 必 须 修 改 app .config 文件 。 将 存储 后 端 从 bitcask 切换 到 eLevelDB， 然 
后 重启 服务 器 ， 如 下 所 示 : 












































[证 开 总 长， 开关 
$$ Storage backend specifies the Erlang module defining the 
gg storage mechanism that will be used on this node. 


{storage backend, riak kv eleveldb backend}, 











有 种 Google 键 值 存储 称 为 LevelD!， 它 的 Erlang 实现 就 是 eLevelDB。 这 个 新 的 后 端 
实现 允许 在 Riak 中 出 现 二 级 索引 。 


当 系 统一 切 就 绪 准 备 运 行 时 ， 可 以 对 任意 对 象 索 引 ， 这 些 对 象 带 有 任意 数量 称 为 索引 
条 目的 头 标 签 , 它们 定义 了 对 象 以 何 种 方式 索引 。 标 签名 以 x-riak-index- 开 始 , 以 _int 
或 者 bin 结尾 ， 分 别 表示 整数 值 或 者 二 进 制 值 〈 整 数 外 的 任何 数据 )。 

为 增加 昵称 为 Blue I 的 小 狗 ， 一 上 只 巴特 勒 牛头 犬 吉祥 物 (Bulter Bulldogs mascot)， 我 
门将 按照 大 学 名 (事实 上 ， 这 只 小 狗 是 巴特 勒 大 学 的 吉祥 物 ) 以 及 版 本 号 〈Blue 2 是 第 二 
只 牛头 犬 吉 祥 物 ) 索引 。 











































































































$ curl -X PUT http://localhost:8098/riak/animals/blue 

-H "x-riak-index-mascot bin: butler" 

-了 下 "x-riak-index-version int: 2" 

-Q '{"nickname" : "Blue II", "breed" : "English Bulldog"}" 














或 许 你 已 经 注意 到 ， 索 引 与 存储 在 键 中 的 值 没有 什么 关系 。 这 实际 上 是 一 个 强大 的 功 
几 ， 这 种 特性 让 我 们 可 以 索引 数据 ， 同 时 对 所 存储 的 任意 数据 保持 正 交 。 如 果 你 想 把 一 个 
视频 另存 为 值 ， 你 仍然 可 以 对 它 索 引 。 


通过 索引 获取 值 是 相当 简单 直接 的 。 























IO 


















































$ curl http://localhost:8098/riak/animals/index/mascot bin/butler 





尽管 Riak 中 的 二 级 索引 是 往 正 确 方 向 近 出 的 一 大 步 ， 但 是 前 方 的 路 依然 很 长 。 例 如 ， 
如 果 你 想 对 日 期 索引 ， 你 必须 存储 一 个 能 排序 的 字符 串 ， 比 如 “YYYYMMDD”。 而 存储 
浮 点 数 要 求 首先 以 10 的 某 个 有 效 精度 的 倍数 , 处理 浮 点 ;然后 再 将 它 另存 为 整数 一 一 比如 ， 










































































! http://code.google.com/p/leveldb/ 
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1.45*100 三 三 145。 而 这 种 转化 是 由 客户 端 负责 的 。 然 而 ， 在 mapreduce、Riak 搜索 以 及 二 
级 索引 之 间 ，Riak 还 是 提供 了 许多 工具 ， 另 尽 蹊 径 ， 以 超越 简单 键 的 值 访问 ， 放 宽 了 键 什 
存储 设计 中 的 经 典 约束 。 


















































3.4.3 第 3 天 总 结 














伴随 着 一 些 更 进 阶 的 概念 , 我 们 完成 了 Riak 的 学 习 : 如 何 通过 向 量 时钟 处 理 版 本 冲突 ， 
如 何 使 用 提交 钩子 程序 (commit hook) 验证 或 修改 输入 数据 。 我 们 还 深入 讨论 了 使 用 一 组 
Riak 扩展 : 激活 Riak 搜索 , 以 及 对 数据 索引 , 使 用 户 获得 更 多 的 查询 灵活 性 。 将 这 些 概 念 ， 
连同 第 2 天 的 映射 归 约 (mapreduce) 和 第 1 天 的 链接 一 起 使 用 ， 你 能 创建 一 个 灵活 的 工具 
组 合 ， 远 远 超 出 标准 的 键 值 存储 。 


第 3 天 作业 
求索 
.找到 Riak 函数 贡献 列表 库 〈 提 示 : 在 GitHub 里 )。 











































































































2， 阅读 更 多 关于 向 量 时 钟 的 内 容 。 
3， 学 习 创 建 你 自己 的 索引 配置 。 
实践 


1. 创建 你 自己 的 索引 ， 定 义 animals 的 模式 。 有 具体 而 言 ， 把 score 域 设 置 为 整数 
类 型 ， 按 范围 查询 。 

2. 启动 一 个 小 集群 , 包含 三 个 服务 器 (例如 , 三 个 笔记 本 电脑 或 者 EC2! 虚 拟 机 实例 )， 
并 分 别 安装 Riak。 将 这 些 服 务 器 设置 为 一 个 集群 。 安 装 Google 股票 数据 集 ， 可 以 
在 Basho 网 站 上 找到 ?。 
























































































































































3.5 总 结 























Riak 是 我 们 介绍 的 第 一 个 非 SQL 型 数据 库 。 它 是 分 布 式 的 、 有 数据 副本 的 、 键 值 增 
强 的 存储 方式 ， 且 不 会 发 生 单 点 故障 。 


如 果 你 截至 目前 的 数据 库 经 验 都 限于 关系 数据 库 ，Riak 也 许 看 起 来 像 一 个 陌生 的 野 










































































! http://ec2.amazonaws.com/ 
2 http://wiki.basho.com/Loading-Data-and-Running-MapReduce-Queries.html 
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兽 。 事 务 、SQL 与 模式 没有 了 。 有 的 是 键 (key)， 而 桶 (bucket) 之 间 的 链接 一 点 不 像 数 
据 表 的 联接 ， 并 且 mapreduce 又 是 一 种 很 难 上 手 的 方法 论 。 然 而 ， 凡 事 都 有 利 浆 ，Riak 
很 适合 解决 某 类 问题 。 它 可 以 扩展 更 多 的 节点 服务 器 (而 非 扩展 规模 更 大 的 单个 服务 器 )， 
而 其 易于 使 用 的 特点 ， 是 解决 Web 独特 可 扩展 性 问题 的 一 次 极 佳 尝试 。 基 于 HTTP 结构 
之 上 的 Riak， 并 非 是 “ 炒 冷 饭 ”， 而 是 在 最 大 程度 上 ， 为 各 种 框架 或 者 Web 系统 增加 了 


灵活 性 。 


































































































3.5.1 Riak 的 优点 

















如 果 你 想 设 计 一 个 类 似 Amazon 的 大 型 订货 系统 , 或 者 你 最 关注 的 是 高 可 用 性 ， 这 时 ， 
你 应 该 考虑 一 下 Riak。 无 疑 ，Riak 的 优势 之 一 就 是 它 致力 于 避免 单 点 故障 ， 设 法 文 持 最 大 
的 正常 运行 时 间 ， 并 且 增 加 《或 者 缩小 ) 规模 以 适应 变化 的 需求 。 如 果 你 没有 复杂 的 数据 ， 
Riak 让 一 切 维持 简单 的 状态 , 然而 一 旦 你 需要 , 它 也 可 以 处 理 相 当 复 杂 的 数据 。 目 前, Riak 
支持 许多 编程 语言 (你 能 在 Riak 网 站 上 找到 相关 内 容 )， 但 是 如 果 你 使 用 Erlang， 就 能 获 
得 扩展 Riak 核心 的 能 力 。 你 若 需要 超出 HTTP 处 理 能 力 的 速度 , 也 可 以 试 试 通过 Protobuf'” 
进行 通信 ， 它 是 一 种 更 有 效率 的 二 进 制 编码 和 传输 协议 。 









































































































































3.5.2 ”Riak 的 缺点 








如 果 你 需要 简单 的 查询 能 力 、 复 杂 的 数据 结构 或 者 严格 的 模式 ， 又 或 者 你 不 需要 节点 
服务 器 进行 横向 扩展 ， 那 么 Riak 可 能 不 是 你 的 最 佳 选择 。 我 们 对 于 Riak 的 主要 抱怨 之 一 
是 ， 作 为 自由 定义 (ad hoc) 的 查询 框架 ， 它 依然 不 够 简单 而 健壮 ， 尽 管 Riak 确实 在 正确 
的 轨道 上 前 进 。mapreduce 提供 了 无 与 伦比 的 强大 功能 ， 但 是 我 们 希望 有 更 多 内 置 的 基于 
URL 或 者 其 他 PUT 查询 的 操作 。 索 引 的 加 入 是 在 这 个 方向 上 的 一 大 进步 ， 也 是 我 们 乐意 
详 述 的 一 个 概念 。 最 后 ， 如 果 你 不 想 编写 Erlang 代码 ， 你 会 发 现 使 用 JavaScript 的 一 些 限 
制 ， 比 如 ， 不 能 实现 提交 后 处 理 ， 或 者 ， 较 慢 的 mapreduce 执行 过 程 。 但 是 ，Riak 团队 正 
在 解决 这 些 相对 较 小 的 问题 。 




























































































































































































3.5.3 ”Riak 之 于 CAP 























Riak 提供 了 一 个 聪明 的 方法 ， 以 规避 CAP 施加 于 所 有 分 布 式 数 据 库 上 的 约束 。 相 比 
像 PostgreSQL 这 样 只 支持 强 写 入 一 致 性 的 系统 ，Riak 对 于 这 个 问题 的 处 理 能 力 是 惊人 的 。 
它 利用 了 Amazon Dynamo 论文 的 深刻 观点 一 一 CAP 可 以 在 每 个 桶 或 者 每 个 请 求 的 基础 上 
改变 。 它 的 健壮 与 灵活 是 开源 数据 库 系 统 发 展 的 一 大 进步 。 当 你 读 到 本 书 中 的 其 他 数据 库 
时 ， 想 起 Riak， 你 依然 会 惊叹 于 它 的 灵活 性 。 
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3.5.4 ”结束 语 
































如 果 你 需要 存储 海量 数据 目录 ， 采 用 其 他 方式 很 可 能 没有 Riak 做 得 好 。 尽 管 40 多 年 
来 ， 人 们 没有 在 这 方面 对 关系 数据 库 进 行 研究 和 调整 ， 但 并 非 所 有 问题 都 需要 遵循 ACID 
或 者 强制 使 用 数据 模式 。 如 果 你 想 把 数据 库 巾 入 一 个 设备 或 者 处 理 金融 事务 ， 你 该 吉 免 使 
用 Riak。 如 果 你 想 获得 扩展 的 能 力 或 者 在 Web 上 提供 数据 ， 请 考虑 使 用 Riak。 










































































第 4 章 





HBase 


Apache 的 HBase 是 用 来 做 大 事 的 ， 就 像 射 杀 枪 。 你 不 应 该 用 
清单 ， 就 像 你 不 会 
么 你 可 能 需要 一 个 小 点 的 工具 。 















































HBase 初 看 
关系 数据 库 。 当 学 习 HBase 时 ， 最 有 挑战 怕 
民 熟 悉 ， 但 却 具 有 其 : 
包含 单元 〈cell)， 自 





语 ， 我 们 似乎 











>- 














很 好 ， 是 吗 ? 


起 来 条 


























会 用 射 钉 检 来 造 玩 





Mees 









































前 (bucket〉 中 ， 它 称 为 表 ， 其 中 














。 如 果 你 的 数据 不 是 月 

















像 关系 数据 库 ， 如 果 你 不 知道 更 多 的 信 |， 
E 的 任务 不 是 技术 ， 
并 不 是 原来 的 含义 。 









































而 是 HBase 中 


例如 ，HBase 





HBase 来 记录 公司 的 销 
多 少 GB 来 衡量 ， 





只 ， 你 可 能 认为 它 就 是 一 个 








用 到 的 许多 词 











将 数据 存放 在 
元 是 行 和 列 的 交叉 处 。 到 目前 为 止 


错 了 ! 在 HBase 中 ， 表 的 行为 不 像 关 系 ， 行 不 像 记录 ， 列 是 完全 可 变 的 (没有 受到 模 








式 描述 的 强制 限制 )。 模式 的 设计 仍然 重要 ， 因 
HBase 是 RDBMS 的 那 恶 挛 


这 个 数据 库 ? 除了 1 
性 , 其 他 数据 库 没有 , 诸如 版 




















保持 房间 的 整洁 。 


那么 ,你 为 什么 要 月 
有 一 些 内 置 的 特 ; 


























以 及 内 存 表 。 直 接 提 人 入 



































供 了 很 强 的 一 致 












































由 于 这 些 原 
比 ， 单 个 操作 可 
正 巨 大 的 查询 ，HBase 通常 胜 冯 


能 要 慢 一 些 ， 






























































缩 性 之 外 ,还 有 一 些 其 他 理由 。 
本 管理 、 压 缩 、 垃 圾 回收 (对 于 











味 着 ， 如 果 你 月 
现 从 关系 数据 库 的 迁移 。 


也 成 为 在 线 分 析 处 理 
日 Hbase 擅长 做 的 事 


此 这 些 特 性 意 
性 保证 ， 容 易 实 ] 


因 ， HBase 很 出 色 









































为 后 台 日 志和 查询 系统 。 





























在 。 这 也 解释 了 为 什么 HBase 党 











为 它 告 知 了 系统 的 性 能 特点 ， 但 它 不 会 蔡 你 
生 兄 第， 逆反 超人 。 























到 它们 ， 就 可 以 少 写 代码 。 

















情 是 扫描 











首先 ，HBase 














超期 的 数据 )， 
HBase 也 提 





的 基石 。 虽 然 与 其 他 数据 库 相 


巨大 的 数据 集 。 所 以 ， 对 于 真 























于 大 公司 ， 作 
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41 介绍 HBase 





























HBase 是 面向 列 的 数据 库 , 在 一 致 性 和 伸缩 性 方面 引 以 为 傲 。 它 基于 BigTable 的 思想 。 
BigTable 是 Google 开发 的 高 性 能 专 有 数据 库 ， 在 2006 年 的 白皮书 “Bigtable: A Distributed 
Storage System for Structured Data” 中 介绍 过 :。HBase 最 初 是 为 处 理 自然 语言 而 创建 的 ， 开 

台 是 作为 Apache Hadoop 的 一 个 贡献 包 。 从 此 之 后 ， 它 成 为 一 个 顶级 Apache 项 目 。 


在 架构 方面 ，HBase 的 设计 初衷 是 能 够 容错 。 对 于 单个 机 器 ， 人 硬件 故障 可 能 不 常见 ， 
但 对 于 大 型 集群 ， 节 点 故障 是 常态 。 通 过 预 写 式 日 志 (write-ahead logging) 和 分 布 式 配置 ， 
HBase 能 够 快速 地 从 单个 服务 器 故障 中 恢复 。 


另外 ，HBase 所 处 的 生态 系统 也 带 来 了 额外 的 好 处 。HBase 基于 Hadoop，Hadoop 是 
一 个 坚固 的 、 可 伸缩 的 计算 平台 ， 提 供 了 分 布 式 文件 系统 和 mapreduce 的 计算 能 力 。 在 有 
HBase 的 地 方 ， 就 有 Hadoop 和 其 他 基础 设施 组 件 ， 你 可 以 在 自己 的 应 用 中 加 以 利用 。 


一 些 知 名 度 很 高 的 公司 在 积极 地 使 用 和 开发 HBase， 以 解决 它们 的 “大 数据 ”问题 。 
例如 , Facebook 在 2010 年 11 月 宣布 了 新 的 消息 基础 设施 , 选择 了 HBase 作为 其 主要 组 件 。 
Stumbleupon 几 年 以 来 一 直 采 用 Hbase 来 实现 实时 数据 存储 和 分 析 , 直接 通过 HBase 提供 
各 种 网 站 特征 。Twitter 大 量 采 用 HBase， 从 数据 生成 〈 针 对 找 人 这 样 的 应 用 ) 到 保存 监控 
/性 能 数据 。 使 用 HBase 的 公司 还 包括 eBay、Meetup、Ning、Yahoo 等 。 


在 这 些 文 持 下 ，HBase 的 新 版 本 发 布 的 速度 很 快 。 在 编写 本 书 时 ， 当 前 的 稳定 版 是 
0.90.3， 也 就 是 我 们 采用 的 版 本 。 现 在 下 载 HBase， 我 们 就 要 开始 了 。 
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今天 的 目标 是 学 习 使 用 HBase 的 基本 特性 ,我 们 会 让 一 个 HBase 本 地 实例 以 单机 模式 
运行 ， 然 后 通过 HBase shell 来 创建 和 改变 表 ， 利 用 基本 命令 来 插入、 修改 数据 。 之 后 ， 我 
们 将 探讨 如 何在 JRuby 中 利用 HBase 的 Java API， 通 过 编程 的 方式 来 执行 其 中 一 些 操 作 。 
在 这 个 过 程 中 ， 我 们 将 介绍 HBase 的 一 些 架 构 概 念 ， 如 表 中 的 行 、 列 族 (column family )、 
列 和 值 之 间 的 关系 等 。 


完全 可 运营 的 、 产 品级 的 HBase 集群 ， 实 际 上 至 少 应 该 有 5 个 节点 ， 常 规 经 验 是 这 样 
的 。 这样 的 配置 对 我 们 的 需求 来 说 是 杀 鸡 用 牛刀 了 。 幸 运 的 是 ，HBase 文 持 3 种 运行 模式 : 


。 单机 模式 是 单 台 机 器 独立 运行 
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! http://labs.google.com/papers/bigtable.html 
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。 伪 分 布 式 模式 是 单个 节点 伪装 一 个 集群 ; 




















。 完全 分 布 式 模式 是 一 群 节 





在 本 章 的 大 部 分 时 间 ， 我 们 条 用 单机 模式 运行 HBase。 即 使 这 检 
,但 会 在 合适 的 时 候 , 给 出 





以 我 们 虽然 不 会 全 面 介 


























4.2.1 








在 使 用 HBase 之 前 ， 必 须 
hbase-site.xml， 在 ${HBASE 


配置 HBase 





安 闭 和 管理 


起 工作 。 


Ex 
局 
AAA 











E 配 置 它 。 














HOME } /conf/ 目 录 下 。 请 注意 ，HBRASE _ 








环境 变量 ， 














式 ， 在 配置 文件 中 添加 任意 多 个 忆 























el 
可 浊 


指向 HBase 的 安装 目录 。 


初始 情况 下 ， 这 个 文件 只 包含 一 个 空 的 <configuration> 标 签 。 





HBase 的 配置 设置 保存 在 一 个 文件 















































HOME 





也 有 一 点 挑战 性 ， 所 
些 相关 的 故障 诊断 提示 。 

















性 定义 : 





可 以 采用 下 面 的 格 





<property> 


<name>some.property.name</name> 
<value>A property value</value> 


</property> 














所 有 可 用 属性 的 完整 清 
default .xml 中 ， 位 于 $ {HBASE 
































单 ， 


以 及 默认 值 及 其 



































述 信 息 ， 





都 在 文件 hbase- 
HOMF}/src/main/resources 目录 下 。 


默认 情况 下 ，HBase 用 一 个 临时 目录 来 存放 它 的 数据 文件 。 这 意味 着 每 当 操作 系统 决 
定 回 收 这 些 磁盘 空间 时 ， 你 的 所 有 数据 都 会 丢失 。 









































要 保存 数据 ， 应 该 指定 一 个 稳定 的 存储 位 置 。 可 以 设置 hbase .rootdir 属性 ， 指 向 
一 个 合适 的 路 径 ， 像 这 样 : 





<property> 


<name>hbase.rootdir</name> 
<value>file:///path/to/hbase</value> 


</property> 




















要 启动 HBase， 打 开 一 个 终端 窗口 (命令 行 提示 )， 并 执行 下 面 的 命令 : 





$ {HBASE HOME}/bin/start-hbase.sh 





要 关闭 HBase， 使 用 同一 目 


如 果 出 了 状况 ， 请 在 $ {HBASE_ 
下 面 的 命令 将 最 近 的 日 志 数 据 原封 不 动 地 输 





























系统 中 ， 























录 下 的 stop-hbase.sh 


HOME}/1logs 日 录 下 ， 查 看 最 近 修 改 的 文件 。 




















到 控 种 


个 人 
命令 。 








A 
口 : 





一 


在 *nix 
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cd ${HBASE HOME} 
find ./logs -name "hbase-*.1og" -exec tail -f {} \; 





4.2.2 HBase shell 














HBase shell 是 基于 JRuby 的 命令 行程 序 ， 可 以 用 它 与 HBase 交互 。 在 shell 中 ， 可 以 
添加 和 删除 表 ， 改 变 表 的 模式 ， 添 加 或 删除 数据 ， 并 完成 一 些 其 他 任务 。 后 面 会 探讨 连接 
HBase 的 其 他 方式 , 但 现在 用 shell 就 够 了 。 当 HBase 运行 时 , 打开 一 个 终端 , 并 启动 HBase 
的 shell: 















































${HBASE HOME}/bin/hbase shell 





要 确认 它 工作 正常 ， 请 查询 它 的 版 本 信息 。 








hbase> version 
0.90.3, r1100350, Sat May 7 13:31:12 PDT 2011 








任何 时 候 都 可 以 输入 help， 查 看 可 用 命令 的 清单 ， 或 某 个 命令 的 用 法 。 
接 下 来 ， 执 行 status 命令 ， 查 看 HBase 服务 器 的 状态 。 

















hbase> status 
1 servers, 0 dead, 2.0000 average load 





如 果 这 些 命令 出 现任 何 问题 ， 或 shell 挂 起 ， 可 能 是 连接 出 了 问题 。HBase 尽 了 最 大 努 
力 ， 根 据 网 络 设置 来 自动 配置 它 的 服务 ， 但 有 时 候 它 也 会 出 错 。 如 果 看 到 这 些 症状 ， 请 查 
看 4.2.3 小 节 中 的 “HBase 的 网 络 设置 ” 










































































4.2.3 创建 表 




















映射 表 是 一 个 键 值 对 ， 就 像 Rubu 中 的 哈 希 ， 或 Java 中 的 hashmap。HBase 中 的 表 基 
本 上 是 一 个 很 大 的 映射 表 ， 更 准确 地 说 ， 它 是 嵌 套 许多 映射 表 的 映射 表 。 


HBase 的 网 络 设置 
默认 情况 下 ，HBase 试图 向 外 部 客户 提供 它 的 服务 ， 但 在 例子 中 ， 只 需要 在 同一 台 机 
器 上 发 起 连接 。 所 以 ， 在 hbase-site.xml 中 加 入 下 列 部 分 或 全 部 属性 ， 也 许 会 有 
帮助 (你 的 用 处 可 能 不 一 样 )。 请 注意 ， 仅 当 你 打算 进行 本 地 连接 ， 而 非 远程 连接 时 ， 
下 面 表 中 的 这 些 值 才 有 帮助 。 
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属 性 名 





值 





hbase.master.dns.interface 


lo 





hbase.master.info.bindAddress 


127.0.0.1 





hbase.regionserver.info.bindAddress 


127.0.0.1 





hbase.regionserver.dns.interface 


lo 





hbase.zookeeper.dns.interface 





lo 


这 些 属性 告诉 HBase， 如 何 为 主 服务 器 和 区 域 服务 器 ( 稍 后 将 讨论 它们 ) 建立 连接 ， 
以 及 zookeeper 配置 服务 。 设 置 为 “lo” 的 属性 指 的 是 所 谓 的 loopback ( 回 送 ) 网 卡 。 
在 *nix 系统 中 ， 回 送 网 卡 不 是 真实 的 网 卡 (与 以 太 网 或 无 线 网 卡 不 同 ) 而 是 只 有 软件 


模拟 的 网 卡 ， 让 计算 机 连接 它 自己 。bingdAdg 


个 卫 地 址 。 








在 HBase 表 : 
射 表 ， 























分 组 ， 所 以 列 的 完全 名 称 包含 两 个 部 分 : 


































































































ress 属性 告诉 HBase， 





它 尝试 监听 哪 


， 键 可 以 是 任意 字符 串 ， 每 个 键 都 映射 到 一 行 数据 。 行 本 身 也 是 一 个 映 
其 中 的 键 称 为 列 ， 而 值 就 是 未 解释 的 字 节 数组 。 列 按照 列 族 (column family) 进行 
列 族 名 称 和 列 限 定 符 (column qualifier)。 通 常 它 





们 用 一 个 冒号 连接 起 来 (例如 ，'family:qualifier')。 
为 了 展示 这 些 概念 ， 请 看 图 4-1。 
行 键 列 族 列 族 
"color" shape" 
ee red#F00" || | et 
1 ‘first' blue": "#00F "square": "4" | 
| "yellow": "#FFO" | 
| 的 "second" ee 
图 4-1 HBase 的 表 包 含 行 、 键 、 列 族 、 列 和 值 
在 这 张 图 中 ， 有 一 张 假想 的 表 ， 它 有 两 个 列 族 : color 和 shape。 该 表 有 两 行 〈 虚 
线 框 表示 ), 由 行 键 来 唯一 标识 : first 和 second。 请 看 第 一 行 ,我 们 看 到 它 在 列 族 color 
中 有 3 列 (限定 符 分 别 是 red、blue 和 yeLlow)， 在 列 族 shape 中 有 1 列 (square)。 














行 键 和 列 名 〈 包 括 列 族 和 限定 符 ) 上 














组 first/color:tred 指向 了 值 ， 








FOO'。 























现在 ， 让 我 们 利用 所 学 的 表 结 构 知识 ， 做 点 有 趣 的 事情 : 





























的 组 合 ， 形 成 了 定位 数据 的 地 址 。 在 这 个 例子 中 ， 三 元 


我 们 要 做 一 个 wikil 
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我 们 可 能 希望 为 wiki 加 上 很 多 生动 的 信息 ， 但 我 们 会 先 从 最 基本 的 部 分 开始 。 一 个 














wiki 包含 了 一 些 页 面 ， 每 个 页 面 都 有 一 个 唯一 的 标题 字符 串 











并 包含 一 些 文本 内 容 。 











执行 create 命令 来 创建 wiki 表 : 





hbase> create 'wiki', 'text' 
0 row(s) in 1.2160 seconds 



































这 里 创建 了 一 个 名 为 wiki 的 表 ， 只 有 一 个 名 为 text 的 列 族 。 表 目前 是 空 的 ， 它 没 
有 行 ， 因 此 也 没有 列 。 不 像 关系 数据 库 ，HBase 的 列 是 针对 它 所 属 的 行 的 。 如 果 添 加 行 ， 























同时 就 会 添加 列 来 保存 数据 。 


将 表 体 系 结构 画 出 来 ， 就 得 到 了 图 4-2。 按 惯例 ,我 们 预期 每 行 在 text 列 族 中 只 有 
































列 ， 限 定 符 是 空 字 串 〈")。 所 以 ， 包 含 一 页 文本 的 完整 列 名 是 "text: '。 


当然 ，wiki 表 要 有 用 ， 就 需要 有 内 容 。 让 我 们 来 添加 一 些 数据 ! 





























和 六 





全 | "second page's title" | |" "Text of second page" 


行 键 列 族 
(wiki 页 面 标题 ) "text" 


全 | "first page's title" "": "Text of first page" 


ne i 








图 4-2 wiki 表 有 一 个 列 族 





4.2.4 插入 、 更 新 和 读 取 数据 














wiki 需要 有 一 个 首页 ， 所 以 从 这 里 开始 。 在 HBase 的 表 中 添加 数据 ， 使 用 Put 命令 : 











hbase> Put 'wiki', '‘'Home', 'text:', 'Welcome to the wikil!' 














这 个 命令 在 wiki 表 中 插入 一 行 ， 键 是 'Home'， 将 'Welcome to the wiki!' 加 入 








到 'text:' 列 中 。 


可 以 用 get 来 查询 'Home ' 行 的 数据 ， 它 需要 两 个 参数 : 表 名 和 行 键 。 可 以 选择 性 地 





指定 要 返回 哪些 列 。 





96 第 4 章 HBase 





hbase> get 'wiki'， "Home'， 


COLUMN CELL 


"七 ex 上 t 上 : 


text: timestamp=1295774833226, value=Welcome to the wikil 


1 row(s) in 0.0590 seconds 





请 注意 输出 中 的 timestamp 〈 时 间 戳 ) 字段 。HBase 为 所 有 数据 值 保存 
日 00:00:00 UTC) 以 来 的 毫秒 数 。 如 果 把 新 的 值 写 
8 色 的 特征 。 大 部 分 数 
已 经 内 置 文 持 了 ! 























间 惟 ， 表 示 自 某 个 时 间 (1970 年 1 月 1 
入 同一 个 单元 ， 老 的 值 将 留 在 附近 ， 按 它 的 时 间 截 索引。 这 是 非常 H 
据 库 要 求 你 自己 专门 处 理 历 史 数 据 ， 但 在 HBase 中 ， 版 本 管理 








Put 和 Get 


put 和 get 命令 可 以 明确 指定 时 间 戳 。 如 果 你 不 想 使 
以 指定 另 一 个 选择 的 整数 值 。 这 让 你 在 需要 时 可 以 在 时 间 维 上 工作 。 如 果 你 不 指定 时 间 惟 
HBase 会 在 插入 时 使 用 当前 的 时 间 ， 在 读 取 时 返回 最 近 和 








































































































“Facebook 的 消 息 索 引 表 ”。 





4.2.5 修改 表 











本 章 剩 下 的 部 分 将 采 
































个 整数 时 


用 自 某 个 时 间 以 来 的 毫秒 数 ， 也 可 


~ 


子 ， 请 参见 4.2.5 节 的 案例 研究 
默认 的 时 间 解 释 。 


到 目前 为 止 ，wiki 的 模式 包含 的 页 面 带 有 标题 和 文本 ， 以 及 整数 的 版 本 历史 ， 此 外 没 
有 其 他 东西 。 让 我 们 进一步 扩展 需求 ， 包 含 以 下 内 容 : 














。 在 wiki 中 ， 页 面 | 
































。 页 面 可 以 有 无 数 个 新 版 本 ; 
。 新 版 本 由 它 的 时 间 惟 确定; 
。 新 版 本 包含 文本 ， 以 及 可 选 的 
。 新 版 本 由 一 个 作者 提交 ， 作 者 
我 们 的 需求 可 以 画 成 草图 










































































提交 说 明 ; 



































， 如 图 4-3 所 示 。 











将 理念 映射 到 HBase 表 ， 需 要 采取 有 
题 作 为 行 键 ， 将 其 他 页 面 数据 分 在 两 个 列 





























名 字 唯一 确定 。 
在 这 个 页 面 需求 的 抽象 表示 
每 个 新 版 本 都 有 一 个 作者 ， 一 段 提交 说 明 ， 一 些 内 容 文本 和 一 个 时 间 零 。 页 面 的 标题 不 
新 版 本 的 一 部 分 ， 因 为 它 是 标识 符 ， 所 以 有 





点 不 同 的 方式 ， 如 














， 我 们 看 到 











日 它 来 说 明 这 些 新 版 本 属于 同一 个 页 面 。 


三 | 
征 








图 4-4 所 示 。wiki 表 使 




















标 
族 中 ， 分 别 是 test 和 revision。 列 族 text 


和 以 前 一 样 ， 我 们 希望 每 行 都 具有 一 列 ， 限 定 符 是 空 串 〈")， 来 保存 文章 的 内 容 。 列 族 
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I 


revision 的 任务 是 保存 新 版 本 特有 的 其 他 数据 ， 如 作者 和 提交 说 明 。 


























图 4-3 wiki 页 面 的 需求 (包含 时 间 维 度 ) 





列 族 ”| ” 列 族 


"text" "revision" 


"author "..." | 
"comment "..."” |! 
1 


"author": ". 
"comment' 




















图 4-4 更 新 的 wiki 表 结 构 〈 时 间 维 度 没 显示 ) 


案例 研究 ，Facebook 的 消息 索引 表 
Facebook 采用 HBase 作为 其 消息 基础 设施 的 主要 组 件 ， 用 于 存放 消息 数据 ， 也 为 查询 
而 维护 倒 排 索引 (inverted index )。 


在 它 的 索引 表 模 式 中 : 

。 行 键 是 用 户 ID; 

。 列 限定 符 是 出 现在 用 户 消息 中 的 单词 ; 
。 时 间 鹤 是 包含 这 个 单词 的 消息 的 ID。 


因为 用 户 之 间 的 消息 是 不 可 修改 的 ， 所 以 消息 的 索引 条 目 也 是 静态 的 。 版 本 管理 的 


对 于 Facebook， 让 时 间 玲 匹配 消息 ID， 这 让 它们 有 了 另 一 个 维度 来 存储 数据 。 
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1. 默认 值 


因为 在 创建 wiki 表 时 没有 带 特殊 选项 , 所 以 全 部 采用 了 HBase 的 默认 值 。 因为 其 中 有 
一 个 默认 值 ， 即 列 数据 只 保存 3 个 版 本 ， 所 以 调 高 这 个 值 。 更 新 的 wiki 表 结 构 如 图 4-4 所 
示 。 如 果 要 改动 模式 ， 必 须 先 用 disable 命令 ， 让 表 离 线 。 







































































hbase> disable 'wiki' 


0 row(s) in 1.0930 seconds 








现在 可 以 用 alter 命令 ， 修 改 列 族 的 





性 。 


el 





hbase> alter 'wiki', { NAME => 'text', VERSIONS => 
hbase* org.apache.hadoop.hbase.HConstants::ALL VERSIONS } 
0 row(s) in 0.0430 seconds 











这 里 ， 我 们 告诉 HBase 修改 text 列 族 的 VERSIONS 属性 。 还 有 一 些 其 他 属性 可 以 设 
置 ， 第 2 天 将 讨论 其 中 的 一 部 分 。hbase* 这 一 行 表 示 ， 这 是 前 一 行 的 续 行 。 


2.， 修改 表 


修改 列 族 属性 的 操作 可 能 开销 很 大 ， 因 为 HBase 必须 用 选 定 的 规格 创建 新 的 列 族 ， 然 
后 复制 所 有 的 数据 。 在 生产 系统 中 ， 这 可 能 导致 相当 长 的 停机 时 间 。 出 于 这 个 原因 ， 事 先 
设置 列 族 属性 是 较 好 的 做 法 。 


在 wiki 表 仍 然 禁 用 的 情况 下 ， 添 加 revision 列 族 ， 还 是 使 用 alter 命令 : 














































































































汕 


























hbase> alter 'wiki', { NAME => 'revision', VERSIONS => 
hbase* org.apache.hadoop.hbase.HConstants::ALL VERSIONS } 
0 row(s) in 0.0660 seconds 














TT 


~ 


像 之 前 的 text 列 族 一 样 ， 只 是 在 表 模 式 中 添加 了 一 个 revision 列 族 ， 而 不 是 个 别 
列 。 虽 然 我 们 希望 每 行 最 终 都 包含 revision:author 和 revision:comment, 但 这 依 
赖 于 客户 来 实现 这 个 希望 ， 它 没有 写 进 正式 的 模式 中 。 如 果 有 人 想 在 页 面 中 加 入 
revision:foo，HBase 也 不 会 阻止 这 种 做 法 。 

3. 继续 


添加 列 族 之 后 ， 重 新 启用 wiki 




























































































hbase> enable 'wiki' 
0 row(s) in 0.0550 seconds 























现在 wiki 表 已 经 修改 好 了 ， 可 以 支持 扩展 的 需求 清单 ， 可 以 开始 向 revision 列 族 的 列 











4.2 第 1 天 : CRUD 和 表 管 理 








中 添加 数据 。 


4.2.6 ”通过 编程 方式 添加 数据 





撮 








我 们 看 到 ，HBase 的 shell 对 于 操纵 表 这 样 的 任务 是 很 好 用 的 。 遗憾 的 是 ，shell 对 数据 
入 的 支持 不 是 最 好 的 。put 命令 一 次 只 允许 设置 一 个 列 值 , 而 在 刚才 更 新 过 的 shcema 



































需要 同时 添加 多 个 列 值 ， 这 样 它们 就 有 相同 的 时 间 惟 。 我 们 需要 开始 编写 脚本 。 


下 面 的 脚本 可 以 直接 在 HBase 的 shell 中 执行 ， 因 为 shell 也 是 一 个 JRuby 解释 器 。 在 
执行 时 ， 它 为 主 (Home〉 页 添加 新 版 本 的 文本 (text)， 同 时 设置 了 作者 (author) 不 
(comment) 字段 。JRuby 运行 在 Java 虚拟 机 (JVM) 上 ， 所 以 它 能 访问 HBase 的 Java 代 
码 。 这 些 例子 在 非 JVM 的 Ruby 上 是 不 能 执行 的 。 
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~ 


0 说 明 





hbase/put multiple columns.rb 
import ‘org.apache.hadoop.hbase.client.HTable' 
import '‘'org.apache.hadoop.hbase.client.Put' 


def jbytes( *args ) 
args.map { larg| arg.to s.to java bytes } 
end 


table = HTable.new( @hbase.configuration, "wiki" 
p = Put.new( *jbytes( "Home" ) ) 

p.add( *jbytes( "text", "", "Hello world" ) ) 
Badd( ~“*Ibytest Trevision, author. jimbo .)..) 


p.add( *jbytes( "revision", "comment", "my first edit" ) ) 
table.put( p ) 

















以 import 开头 的 两 行将 用 到 的 HBase 类 引入 到 shell。 这 让 我 们 以 后 不 用 写 出 完整 的 
名 称 空间 。 接 下 来 ，jbytes () 函数 接受 任意 数量 的 参数 ， 返 回 一 个 转换 好 的 Java 字 节 数 
组 ， 这 是 HBase 的 API 方法 要 求 的 。 
























































然后 ， 创 建 了 一 个 本 地 变量 (table)， 指 向 wiki 表 ， 使 用 ahpase 第 








芍 








星 对 象 的 配置 信息 。 














然后 ， 我 们 准备 提交 操作 ， 即 创建 并 准备 一 个 新 的 Put 实例 ， 它 记 下 要 修改 的 行 。 在 
这 个 例子 中 ， 我 们 的 关注 点 一 直 在 处 理 的 主页 。 最 后 ， 利 用 aqdd () 向 Put 实例 添加 属性 ， 


















































然后 调用 table 对 象 来 执行 准备 好 的 put 操作。 方法 aqqd () 有 几 种 形式 ， 在 例子 9 
用 了 3 个 参数 的 版 本 : add〔 列 族 ， 列 限定 符 ， 值 )。 


有 











为 什么 要 多 个 列 族 


PF， 使 





在 构造 整个 结构 时 ， 你 可 能 不 想 用 多 个 列 族 ， 为 什么 不 把 一 行 的 所 有 数据 都 放 在 一 个 
1 族 中 呢 ? 这 个 解决 方案 实现 起 来 更 简单 。 但 不 使 用 多 个 列 族 也 有 不 好 的 一 面 ， 即 丧失 了 
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细 粒 度 性 能 调 优 的 机 会 。 每 个 列 族 的 性 能 选项 是 独立 配置 的 。 这 些 设 置 影响 3 











度 ， 以 及 磁盘 空间 的 占用 。 






























































HBase 中 的 所 有 操作 在 行 级 是 原子 的 。 对 于 读 或 写 的 行 ， 不 论 影 响 到 多 少 列 ， 
都 会 有 一 致 的 视图 。 这 种 设计 决定 有 助 于 客户 对 数据 做 出 聪明 的 推断 。 


















































间 戳 《以 毫秒 表示 的 当前 时 间 )。 让 我 们 调用 get 来 验证 一 下 。 


到 读 和 写 的 速 


该 操作 


因为 put 操作 影响 到 多 个 列 ， 并 且 没 有 指定 时 间 崔 ,所 以 所 有 的 列 值 都 会 有 同样 的 时 








hbase> get 'wiki'， "Home' 
COLUMN CELL 


revision:author timestamp=1296462042029, value=jimbo 


revision:comment timestamp=1296462042029, value=my first edit 
text: timestamp=1296462042029, value=Hello world 


3 row(s) in 0.0300 seconds 








你 可 以 看 到 ， 上 面 列 出 的 每 个 列 值 都 有 相同 的 时 间 戳 。 








4.2.7 第 1 天 总 结 








今天 ， 我 们 亲自 查看 了 运行 的 HBase 服务 器 。 我 们 学 习 了 如 何 配置 它 ， 以 及 查看 日 志 
文件 来 诊断 故障 。 利 用 HBase shell， 我 们 完成 了 基本 管理 和 数据 操作 任务 。 


在 对 wiki 系统 的 建 模 中 , 我 们 探索 了 HBase 中 的 模式 设计 。 我 们 学 习 了 如 何人 





























操作 列 族 。 设 计 HBase 的 模式 意味 着 决定 列 族 的 一 些 选项 ， 同 样 习 





时 间 截 这 样 的 特性 的 语义 解释 。 









































| 建 表 和 





EE 要 的 是 ， 我 们 对 行 刍 和 














我 们 也 开始 接触 HBase JavaAPI， 在 shell 中 执行 JRuby 代码 。 在 第 2 天， 我 们 将 更 进 
一 步 ， 利 用 shell 来 执行 定制 的 脚本 ， 完 成 数据 导入 这 样 的 大 任务 。 


你 应 该 已 经 开始 摆脱 关系 数据 库 的 一 些 概 念 负担 了 ， 如 表 、 行 和 列 。HBase 使 用 这 





























些 术语 的 方式 与 它们 在 其 他 系统 ! 
种 差别 会 更 突出 。 


第 1 天 作业 




















的 含义 有 差别 ， 当 我 们 深入 研究 HBase 的 特 怕 














HBase 在 线 文 档 一 般 有 两 种 风格 : 极其 技术 化 和 不 存在 。 这 种 情况 正在 改变 ， 
started”( 初 学 指南 ) 开始 出 现 了 ， 但 要 准备 好 花 些 时 间 ， 在 Javadoc 或 源 代码 中 寻找 答案 。 














求索 

















FE 时 ， 这 


“getting 

















1. 弄 清 楚 如 何 通 过 shell 完成 下 面 的 工作 : 
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。 删除 一 行 中 个 别 列 的 值 ; 

















。 删除 一 整 行 。 

















2. 在 书签 中 加 入 你 用 的 HBase 版 本 的 API 文档 。 
实践 


1. 创建 一 个 函数 put_many () ， 它 创建 一 个 Put 实例 ， 在 其 
提交 给 一 个 表 。 函 数 的 签名 应 该 像 这 样 : 


























添加 一 些 列 - 值 对 ，3 



































def p 


ut many( table name, row, column values ) 


# 这 里 是 你 的 代码 


End 























2. 将 put_ many () 函数 精 贴 到 HBase 的 shell 中 ， 即 定义 它 ， 并 像 这 样 调用 它 : 

















hbase> put many 'wiki', 'Some title', { 
hbase* "text:" => "Some article text", 
hbase* "revision:author" => "jschmoe", 
hbase* "revision:comment" => "no comment" } 
有 [4 
43 第 2 天 : 处 理 大 数据 


第 1 天 创 














建 了 表 并 进行 了 操作 ， 现 在 要 开始 向 wiki 表 添 加 一 些 正式 的 数据 。 今天, 我 











们 将 针对 HBase API 编号 脚本 ， 最 终 将 维基 百科 〈Wikipedia) 的 内 容 加 入 到 wiki 中 ! 在 这 
个 过 程 中 , 我 们 将 利用 一 些 性 能 方面 的 技巧 , 让 导入 工作 更 快 完 成 。 最 后 , 我 们 将 研究 HBase 





的 内 部 构造 ， 






















































































看 看 它 如 何 将 数据 分 区 ， 从 而 实现 性 能 提升 和 灾难 恢复 。 














4.3.1 导入 数据 ， 调 用 脚本 


在 试用 新 














的 数据 库 系 统 时 ， 人 们 和 常常 会 遇 到 一 个 问题 ， 即 如 何 迁 移 数据 。 像 第 1 天 所 

















做 的 那样 ， 


幸运 的 是 
shell 时 ， 可 以 
一 样 。 语 法 是 











j 静 态 字符 串 手 动 完成 Put 操作 ， 这 是 不 错 的 方法 ， 但 我 们 可 以 做 得 更 好 。 





， 将 命令 粘贴 到 shell 中 并 不 是 执行 命令 的 唯一 方法 。 在 从 命令 行 启动 HBase 
指定 要 执行 的 JRuby 脚本 名 。HBase 将 执行 该 脚本 ， 就 像 在 shell 中 直接 输入 
这 样 的 : 















































${HBASE HOME}/bin/hbase shell <your script> [<optional arguments> ...] 
既然 我 们 对 “大 数据 ”特别 感 兴趣 ， 那 就 让 我 们 创建 脚本 ， 将 维基 百科 的 文章 导入 
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储 ， 


wiki 表 。WikiMedia 基金 会 监管 Wikipedia、Wictionary 和 其 他 项 并 定期 发 布 数据 转 
里 
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定 
我 们 可 以 使 用 这 些 数 据 转 储 。 这 些 数据 转 储 是 巨大 的 XML 文件 这 





百科 的 示例 记录 : 





<page> 
<title>Anarchism</title> 
<id>12</id> 
<revision> 
<id>408067712</id> 
<timestamp>2011-01-15T19:28:25Z</timestamp> 
<contributor> 
<username>RepublicanJacobite</username> 
<id>5223685</id> 
</contributor> 
<comment>Undid revision 408057615 by [[Special:Contributions...</comment> 
<text xml:space="preserve">{{Redirect|Anarchistl|lthe fictional character1| 


[[bat-smg:Anarkézmos]] 
[[zh:DOODODD] ] </text> 
</revision> 


</page> 





时 间 戳 和 作者 。 因 此 ， 我 们 应 该 









































含 的 所 有 信息 都 已 体现 在 模式 中 : 标题 〈 行 键 )、 文 本 、 
够 写 一 个 脚本 来 导入 各 个 版 本 的 数据 ， 这 不 是 很 麻烦 。 


























因为 我 们 很 明智 ， 所 以 这 里 包 
能 











4.3.2 流 式 XML 














要 事 优先 。 需 要 以 流 的 《SAX) 方式 ， 解 析 巨 大 的 XML 文件 ， 我 们 就 从 这 里 开始 。 

















在 JRuby 中 逐条 解析 XML 文件 的 工作 ， 看 起 来 基本 上 是 这 样 的 : 





hbase/basic xml parsing.rb 
import 'javax.xml.stream.XMLStreamConstants' 


factory = javax.xml.stream.XMLInputFactory.newInstance 
reader = factory.createXMLStreamReader (java.lang.System.in) 


while reader.has next 


type = reader.next 


if type == XMLStreamConstants::START ELEMENT 
tag = reader.local name 
# do something with tag 

elsif type == XMLStreamConstants: :CHARACTERS 
text = reader.text 
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# do something with text 


elsif type == XMLStreamConstants: :END ELEMENT 
# same as START ELEMENT 
end 
end 

















分 解 一 下 ， 有 几 点 值得 一 提 。 首 先 ， 生 成 了 一 个 xMLStreamReader， 并 将 它 与 
java.lang. System.in 联系 在 一 起 ， 这 意味 着 它 将 从 标准 输入 读 取 数 据 。 


接 下 来 ， 设 置 了 一 个 while 循环 ， 它 不 断 从 XML 流 中 取出 符号 ， 直 到 取 完 为 止 。 在 
这 个 while 循环 内 部 ， 处 理 当 前 的 符号 。 该 符号 可 以 是 XML 的 开始 标签 、 结 束 标 签 ， 或 
标签 之 间 的 文本 ， 这 决定 了 要 做 的 事 。 






















































































4.3.3 流 式 维基 百科 


现在 ， 我 们 可 以 将 这 个 基本 的 XML 处 理 框架 ， 和 前 面 探讨 的 Erable 和 Put 接口 结 
合 起 来 。 下 面 是 得 到 的 脚本 。 大 部 分 代码 应 该 看 起 来 很 熟悉 ， 我 们 将 讨论 几 个 新 增 部 分 。 






































hbase/import from wikipedia.rb 


require 'time' 


import ‘org.apache.hadoop.hbase.client.HTable' 
import '‘'org.apache.hadoop.hbase.client.Put' 


import 'javax.xml.stream.XMLStreamConstants' 
def jbytes( *args ) 
args.map { larg| arg.to s.to java bytes } 


end 


factory = javax.xml.stream.XMLInputFactory.newIinstance 
reader = factory.createXMLStreamReader (java.lang.System.in) 


QD document = nil 
buffer = nil 


count = 0 


table = HTable.new( Qhbase.configuration, ‘'wiki' ) 
© table.setAutoFlush( false ) 


while reader.has next 


type = reader.next 





® if type == XMLStreamConstants::START ELEMENT 
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case reader.local name 
when 'page' then document = {} 
when /titleltimestamplusername | comment |text/ then buffer = [] 
end 
@ elsif type == XMLStreamConstants: :CHARACTERS 
buffer << reader.text unless buffer.nil? 
© elsif type == XMLStreamConstants: :END ELEMENT 
case reader.local name 
when /titleltimestamplusername | comment |text/ 
document [reader.local name] = buffer.join 
when 'revision' 
key = document['title'] .to java bytes 
ts = ( Time.parse document['timestamp'] ).to i 
p = Put.new( key, ts ) 
p.add( *jbytes( "text", "", document['text'] ) ) 
p.add( *jbytes( "revision", "author", document['username'] 
p.add( *jbytes( "revision", "comment", document['comment'] 
table.put( p) 
count += 1 
table.flushCommits() IE count % 10 == 0 
if count %$ 500 == 0 
puts "#{count} records inserted (#{document['title']})" 
end 
end 
end 
end 


table.flushCommits () 


exit 


) 
) 


) 
) 





G 要 指出 的 第 1 处 不 同 是 引入 了 几 个 变量 。 





因 





。 document: 存放 当前 文章 和 新 版 本 数据 。 


。 buffer: 存放 文档 中 当前 字段 的 字符 数据 (text、 


。 count: 追踪 我 们 已 经 导入 了 多 少 文章 。 
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title、author 等 )。 























@) 特别 要 注意 table.setAutoFlush (false) 的 使 用 。 在 HBase 中 ， 数 据 自 动 








定期 刷新 到 磁盘 。 这 





对 于 大 多 数 应 用 是 适用 的 。 es 了 autoflush， 所 有 put 操作 都 














会 在 缓存 中 执行 ， 
比 量 地 写 入 和 执行 























tr 





文本 。 











(@) 处 理 字符 数据 的 方法 ， 是 将 它 妃 加 到 puffer 中 。 


吉 束 标签 ， 只 是 将 缓冲 的 内 容 放 到 document 中 。 但 如 果 结 束 标签 是 
会 创建 一 个 新 的 Put 实例 ， 填 入 document 的 字段 ， 并 提交 给 表 。 之 
后 ， 如 果 有 一 段 时 间 没 有 调用 flushcommits () ， 就 调 








@ 对 于 大 多 数 乡 


</revision>, 将 





告 进度 。 


直到 我 们 调用 taple.flushCommits( 





@@ 接 下 来 , 我 们 看 看 解析 时 发 生 了 什么 。 如 果 开始 标签 








。 这 让 我 们 能 够 在 方便 的 时 候 ， 








是 <page>, 那么 将 document 





























重 置 成 一 个 空 的 哈 希 表 。 否 则 ， 如 果 我 们 关注 的 是 其 他 标签 ， 重 置 puffer 来 存放 它 的 















































4.3.4 压缩 和 Bloom 过 滤器 








我 们 差不多 准备 














好 执行 这 段 脚本 了 ， 只 是 还 要 先 做 一 








大 块 的 文本 内 容 ， 采 































































































它 ， 并 向 标准 输出 〈put) 报 

















点 清扫 工作 。 列 族 text 将 包含 














] 某 种 压缩 会 有 好 处 。 可 以 启用 压缩 和 快速 查找 : 





hbase> alter 'w. 
0 row(s) in 0.0 


iki', {NAME=>'text', COMPRESSION=>'GZ', BLOOMFILTER=>"'ROW'} 
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HBase 支持 两 种 压缩 算法 : Gzip (GZ) 和 Lempel-Ziv-Oberhumer (LZO)。HBase 社区 





更 推荐 使 用 LZO， 这 只 是 一 


LZO 的 问题 在 于 实现 的 许可 证 。 虽 然 开 源 ， 但 它 不 兼 
由 绑 。 在 线 文档 有 安装 和 配置 LZO 支持 的 详细 说 明 。 如 果 你 希望 高 性 

















LZO 不 能 与 HBase 才 











面 之 辞 ， 但 这 里 要 采用 GZ。 






























































能 压缩 ， 可 以 采用 LZO。 


Bloom 过 滤器 是 一 个 很 


Bloom 过 滤器 最 初 是 
存储 应 
小 节 有 简单 的 解释 ， 


HBase 支持 使 







































































由 Burton Howard Bloom 在 1970 年 























也 变 得 很 流行 ,用 于 快速 确定 键 是 否 已 存在 。 如 




















说 明了 Bloom 过 滤器 的 工作 原理 。 











容 Apache 的 许可 证 规则 ， 所 以 





酷 的 数据 结构 ， 它 有 效 地 回答 了 一 个 问题 : 我 之 前 见 过 它 吗 ? 








发 的 ， 用 于 拼写 检查 ， 它 在 数据 
果 你 不 熟悉 Bloom 过 滤器 ，4.3.5 




















用 Bloom 过 滤器 ， 来 确定 对 于 











某 个 行 键 ， 是 否 存 在 某 列 





106 第 4 章 HBase 


( 
( 


B 

















BLOOMFILTER=>'ROWCOL' ) ， 或 者 只 是 确定 某 个 行 键 是 否 存 在 

















,OOMFILTER=>'ROW' )。 列 族 中 列 的 数量 以 及 行 的 数量 ， 都 是 没有 限制 的 。Bloom 过 





























滤器 提供 了 一 种 快速 方法 ， 用 于 确定 数据 是 否 存在 ， 同 时 避免 费时 的 磁盘 读 取 。 











4.3.5 ”开始 








现在 我 们 已 经 准备 好 执行 这 段 脚本 了 。 因 为 前 面 曾 提 到 这 些 文件 非常 大 ， 所 以 下 载 和 























解压 缩 无 疑 要 花 许多 时 间 。 那 么 我 们 要 怎么 做 ? 














? 


道 的 魔力 ， 可 以 一 步 完成 下 载 、 解 压缩 ， 并 将 XML 提供 给 这 











下 











幸运 的 是 ， 利 用 *mix 第 





段 脚本 。 命 令 如 下 : 





curl <dump url> | bzcat | \ 
${HBASE HOME}/bin/hbase shell import from wikipedia.rb 





Bloom 过 滤器 是 什么 原理 

我 们 不 深入 实现 细节 ，Bloom 过 滤器 管理 一 个 大 小 不 变 的 比特 数组 ， 初 始 设置 为 0。 
每 次 向 过 滤器 提交 一 段 新 数 据 时 ， 某 些 比 特 就 翻转 为 1。 对 这 段 数 据 进 行 哈 希 ， 将 哈 
希 值 变 成 一 组 比特 的 位 置 ， 从 而 决定 哪些 比特 翻转 为 1。 


之 后 ， 为 了 测试 过 滤器 是 否 过 去 遇 到 过 特定 的 一 段 数据 ， 过 滤器 会 算出 哪些 比特 应 该 
是 1, 并 检查 这 些 比 特 。 如 果 某 个 比特 是 0, 那么 过 滤器 就 可 以 毫 不 含糊 地 说 没 遇 到 过 。 
如 果 所 有 的 比特 都 是 1， 那 么 它 报告 说 遇 到 过 。 很 可 能 它 以 前 遇 到 过 这 段 数据 ， 但 随 
着 遇 到 的 数据 越 来 越 多 ， 误 报 的 可 能 性 也 越 来 越 大 。 

使 用 Bloom 过 滤器 而 不 用 简单 的 哈 希 ， 是 一 种 折 中 。 哈 希 不 会 误 报 ， 但 存放 数据 所 需 
的 空间 是 无 限 的 。Bloom 过 滤器 使 用 了 固定 大 小 的 空间 ， 但 偶尔 会 误 报 ， 根 据 饱 和 程 
度 ， 误 报 率 是 可 预测 的 。 








请 注意 ， 应 该 将 <dump_ur1> 替 换 为 WikiMedia 基金 会 的 转 储 文件 的 URL!。 应 该 用 














[project]-latest-pages-articles.xml.bz2 文件 ,项 目 可 以 是 英文 Wikipedia( 约 





6GB ) ?或 英文 Wikitionary ( 约 185MB)“。 这 些 文件 包含 了 Main 名 称 空间 中 所 有 最 新 的 
页 面 版 本 。 也 就 是 说 ， 它 们 略 去 了 用 户 页 面 、 讨 论 页 面 等 。 




















i 


真 入 URL 并 执行 它 ! 你 应 该 看 到 这 样 的 输出 (最 后 ): 
































! http://dumps.wikimedia.org 
2 http://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 
3 http://dumps.wikimedia.org/enwiktionary/latest/enwiktionary-latest-pages-articles.xml.bz2 


4.3 第 2 天 : 处 理 大 数据 107 





500 records inserted (Ashmore and Cartier Islands) 
1000 records inserted (Annealing) 
1500 records inserted (Ajanta Caves) 














上 只 要 你 愿意 ， 它 会 很 欢乐 地 执行 下 去 ， 直 到 遇 到 错误 。 但 运行 一 会 儿 ， 你 可 能 希望 售 
止 它 。 如 果 你 打算 停止 这 段 脚本 ， 按 Ctrl+C 快捷 键 。 但 现在 让 它 保持 运行 ， 这 样 我 们 就 能 
揭 开 引 擎 盖 ， 学 习 HBase 如 何 实现 它 的 横向 伸缩 性 。 


















































4.3.6 ”区 域 和 监控 磁盘 使 用 简介 


HH 








在 HBase 中 ， 行 是 按照 行 键 排序 的 。 区 域 (region) 是 一 组 行 ， 由 它 的 起 始 键 (包含 ) 
和 终止 键 〈 排 除 ) 来 确定 。 区 域 不 会 重 登 ， 每 个 区 域 都 会 指派 给 集群 中 一 个 特定 的 区 域 服 
务 器 。 在 简化 的 独立 服务 器 中 ， 只 有 一 个 区 域 服务 器 ， 它 将 负责 所 有 的 区 域 。 完 全 分 布 式 
的 集群 会 包含 多 个 区 域 服 务 器 。 

所 以 , 让 我 们 来 看 看 HBase 服务 器 的 硬盘 使 用 情况 , 这 会 让 我 们 明白 数据 的 分 布 情况 。 
要 检查 HBase 的 磁盘 使 用 情况 ， 可 以 打开 一 个 命令 提示 符 ， 转 到 前 面 指定 的 
hbase.rootdir 目录 下 ,执行 du 命令 。du 是 标准 的 *nix 命令 行 工 具 ， 递 归 地 告诉 你 一 
个 目录 及 其 子 目 录 使 用 了 多 少 磁盘 空间 。 选 项 -h 告诉 qu 用 易 读 的 方式 来 报告 数字 。 


下 面 是 大 约 插入 12 000 页 之 后 ， 导 入 还 在 进行 时 ，gu 命令 给 出 的 结果 : 





































































































































































































$ du -h 
231M ./.logs/localhost.localdomain,38556,1300092965081 
231M ./.1ogs 
4.0K ./.META./1028785192/info 

2 ./ .META./1028785192/ .0ldlogs 
28 ./ .META./1028785192 
32 ./ .META. 

2 ./-ROOT-/70236052/info 

2 ./-ROOT-/70236052/ .oldlogs 
36 ./-ROOT-/70236052 
40 ./-ROOT- 
2M ./wiki/517496fecabb7d1l6af7573fc37257905/text 

.7M ./wiki/517496fecabb7dl6af7573fc37257905/revision 
61M ./wiki/517496fecabb7d1l6af7573fc37257905/ .tmp 

2K ./wiki/517496fecabb7dl6af7573fc37257905/ .oldlogs 
34M ./wiki/517496fecabb7d1l6af7573fc37257905 

34M ./wiki 
4.0K /Sldlogs 
365M 

















这 个 输出 告诉 我 们 很 多 关于 HBase 磁盘 使 用 量 和 分 配 情 况 的 信息 。 以 /wiki 开头 的 行 
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HBase 


























代表 了 单个 区 域 (目前 为 J 





空间 。 





























还 有 一 件 事 值 得 注意 。 输 出 的 头 两 行 ( 以 ./1ogs 开头 ) 告诉 我 们 预 写 式 日 


























述 了 wiki 表 的 磁盘 使 用 。 长 名 称 的 子 目 录 517496fecabb7d16af7573fc37257905 
FF 唯一 的 区 域 )。 在 它 下 面 ，/text 和 /revision 目录 分 别 对 应 
text 和 revision 列 族 。 最 后 一 行 汇总 了 这 些 值 ， 告 诉 我 们 HBase 使 用 了 365M 磁盘 





志 (Write- 


Ahead Log，WAL) 文件 使 用 的 空间 。HBase 利用 预 写 式 日 志 防止 节点 故障 。 这 是 相当 肉 
型 的 灾难 恢复 技术 。 例 如 ， 文 件 系统 中 的 预 写 式 日 志 称 为 journaling， 在 编辑 操作 改写 和 
增加 ) 持久 到 磁盘 之 前 ， 日 志 先 附加 到 WAL。 














出 于 性 能 考虑 ， 编 辑 操 作 不 需要 马上 写 入 磁盘 。 如 果 IO 先进 行 组 
磁盘 ， 系 统 的 性 能 会 好 很 多 。 在 这 段 状 态 不 定 的 时 间 旦 
器 骨 溃 了 ，HBase 将 利用 WAL 来 确定 哪些 操作 已 成 功 ， 并 采取 纠 


写 入 WAL 是 可 选项 ,默认 是 启用 的 。 像 Put 和 Increment 这 样 的 编辑 类 有 
日 它 来 排除 写 入 WAL 的 操作 。 一 般 情况 下 ， 需 要 











方法 ， 名 为 setWriteToWAL () ， 可 以 月 
保持 默认 选项 ， 
新 执行 导入 任务 的 ， 就 像 Wikipedia 导入 脚本 一 样 ， 那 么 你 可 能 希 


















































!， 随 后 批量 写 入 


















































有 ， 如 果 人 负责 受 影响 





FE 操作 。 























区 域 的 区 域 服 务 


个 setter 


但 在 某 些 情 况 下 ， 改 变 它 是 有 意义 的 。 例 如 ， 如 果 在 执行 一 项 可 以 随时 重 











灾难 恢复 的 保护 ， 来 换取 性 能 提升 。 


4.3.7 ”区 域 的 问讯 


如 果 让 这 段 脚 本 执行 的 时 间 足 够 长 ， 就 会 看 到 HBase 将 该 表 分 成 了 多 个 区 域 。 下 面 是 
在 添加 了 约 150 000 页 之 后 ，du 输出 : 











望 禁 用 WAL 写 入 ， 牺 牲 








$ du -h 
40 
44 











By op ap bly 


/ 
/ 
/ 
/ 
/ 
5 
2 
/ 
/ 
/ 
/ 
/ 


logs/localhost.localdomain,55922,1300094776865 
,二 CS 

.META./1028785192/info 
.META./1028785192/recovered.edits 
.META./1028785192/ .tmp 
.META./1028785192/.o0ldlogs 

.META./1028785192 

. META. 


ROOT-/70236052/info 


./-ROOT-/70236052/recovered.edits 
./-ROOT-/70236052/ .tmp 

./-ROOT-/70236052/ .oldlogs 

./-ROOT-/70236052 

./-ROOT- 
./wiki/0a25ac7e5d0be211b9e890e83e24e458/text 
./wiki/0a25ac7e5d0be211b9e890e83e24e458/revision 


41M 
591M 
4.0 
591M 
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./wiki/0a25ac7e5d0be211b9e890e83e24e458/ .tmp 
./wiki/0a25ac7e5d0be211b9e890e83e24e458 
./wiki/1l5be59b7dfd6e71laf9b828fed280ce8a/text 
./wiki/15be59b7dfd6e71laf9b828fed280ce8a/revision 
./wiki/15be59b7dfd6e71laf9b828fed280ce8a/ .tmp 
./wiki/15be59b7dfd6e71af9b828fed280ce8a 
./wiki/0ef3903982fd9478e09d8f17b7a5f987/text 
./wiki/0ef3903982fd9478e09d8f17b7a5f987/revision 
./wiki/0ef3903982fd9478e09d8f17b7a5f987/.tmp 
./wiki/0ef3903982fd9478e09d8f17b7a5f987 
./wiki/a79c0f6896c005711cf6a4448775a33b/text 
./wiki/a79c0f6896c005711cf6a4448775a33b/revision 
./wiki/a79c0f6896c005711cf6a4448775a33b/ .tmp 
./wiki/a79c0f6896c005711cf6a4448775a33b 

./wiki 

./.oldlogs 























最 大 的 改变 是 老 的 区 域 (517496fecabb7d16af7573fc37257905) 不 见 了 ， 代 之 
以 4 个 新 的 区 域 。 在 独立 服务 器 中 ， 所 有 的 区 域 都 是 由 单个 服务 器 提供 服务 ， 但 在 分 布 式 












































环境 下 ， 它 们 会 分 包 到 不 同 的 区 域 服务 器 。 














这 提出 了 几 个 问题 ， 如 “区 域 服 务 器 如 何 知道 它们 负责 为 哪些 区 域 提 供 服 务 ?” ”以 及 





“你 怎 

















怎样 发 现 哪 个 区 域 〈 以 及 哪个 区 域 服 务 器 ) 提供 哪 一 行 ? ” 
如 果 回 到 HBase shell, 就 可 以 查询 .META. 表 , 了 解 关 于 目前 区 域 的 更 多 情况 。.MI 

















Gq 


TA. 
































是 一 个 特殊 的 表 ， 它 的 唯一 目的 就 是 追踪 所 有 的 用 户 表 ， 以 及 哪个 区 域 服务 器 负责 为 这 些 
表 的 各 个 区 域 服务 。 














hbase> scan '.META.', { COLUMNS => [ ‘'info:server', 'info:regioninfo' ] } 
































即使 区 域 的 数目 很 少 ， 你 也 会 看 到 大 量 输 出 。 这 里 是 输出 片段 ， 为 增加 可 读 性 ， 进 行 
了 格式 化 和 截断 处 理 。 
ROW 
wiki,,1300099733696.a79c0f6896c005711cf6a4448775a33b. 
COLUMN+CELL 


column=info:server, timestamp=1300333136393, value=localhost.localdomain:3555 
column=info:regioninfo, timestamp=1300099734090, value=REGION => { 


NAM 
STA 
END 


E => 'wiki,,1300099733696.a79c0f£6896c005711cf6a4448775a33b.'， 
RTKEY => '', 
EY => 'Demographics of Macedonia', 


ENCODED => a79c0f6896c005711cf6a4448775a33b, 


TAB 


ROW 





LE => {{...}} 


wiki,Demographics of Macedonia,1300099733696.0a25ac7e5d0be211b9e890e83e24e458. 
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COLUMN+C 


HBase 


ELL 


column=info:server, timestamp=1300333136402, value=localhost.localdomain:35552 
column=info:regioninfo, timestamp=1300099734011, value=REGION => { 


NAM 
STA 
END 


E => 'wiki,Demographics of Macedonia,1300099733696.0a25...e458.', 
RTKEY => "Demographics of Macedonia', 
EY => 'June 30"， 


ENCODED => 0a25ac7e5d0be211lb9e890e83e24e458, 


TAB 





LE 





上 面 列 























出 的 两 个 区 域 都 由 同一 个 服务 器 提供 服务 ，localhost.1local- 





























domain:35552 。 第 一 个 区 域 从 空 字符 串 行 ('' ) 开始 ， 到 'Demographics of 


Macedonia 
'June 30' 








' 结 束 。 第 二 个 区 域 从 'Demographics of Macedonia' 开 始 ， 到 





o 




















STARTKEY 是 包含 在 内 的 , 而 ENDKEY 是 排除 在 外 的 。 所 以 ， 如 果 查 询 'Demographics 
of Macedonia' 这 一 行 ， 会 发 现 它 在 第 2 区 域 中 。 


























因为 行 是 按 顺 序 保存 的 ， 所 以 可 以 利用 保存 在 .META 中 的 信息 ,来 查找 某 一 行 应 该 在 



































哪个 区 域 和 服务 器 。 但 .META . 表 保存 在 哪里 呢 ? 





我 们 发 现 .METR. 表 分 割 为 多 个 区 域 ， 由 区 域 服务 器 提供 服务 ， 就 像 


























I 





他 的 表 一 样 











o 








要 找到 哪个 服务 器 提供 .META . 表 的 哪 一 部 分 ， 就 要 扫描 -ROOT 。 





hbase> scan '-ROOT-', { COLUMNS => [ 'info:server'， 'info:regioninfo' ] } 


ROW 


.META.,,1 


COLUMN+C 


ELL 


column=info:server, timestamp=1300333135782, value=localhost.localdomain:35552 
column=info:regioninfo, timestamp=1300092965825, value=REGION => { 


NAM 
STA 





ER => '.META.,,1', 
RTKEY => '', 

EY => 1010， 

ODED => 1028785192， 
二 






































将 区 域 分 配给 区 域 服务 器 ， 包 括 分 析 .METRA. 区 域 的 工作 ， 都 是 由 主 节点 来 处 理 的 ， 
该 节点 通常 称 为 HBaseMaster。 主 服务 器 也 可 以 是 一 个 区 域 服务 器 , 同时 执行 两 项 任务 。 


如 果 一 台 区 域 服务 器 失效 , 主 服务 器 会 介入 , 重新 分 配 原 来 属于 失效 节点 的 那些 区 域 。 












































这 些 区 域 的 新 服务 器 会 查看 WAL,， 看 看 是 否 需 要 执行 恢复 步骤 。 如 果 主 服务 器 失效 ， 它 的 
具 责 将 顺延 到 其 他 可 以 成 为 主 服务 器 的 区 域 服 务 器 。 
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4.3.8 ”扫描 一 个 表 来 建立 另 一 个 表 


假定 你 已 停止 了 运行 导入 的 脚本 ， 我 们 可 以 转 到 下 一 项 任务 ， 从 导入 的 wiki 内 容 中 提取 
信息 


《Do 

















我 的 表 模 式 在 哪里 

表 模 式 信息 从 regioninfo 扫描 的 示例 输出 中 删除 了 。 这 减少 了 混乱 ， 我 们 稍 后 将 讨 

论 性 能 调 优选 项 。 如 果 你 很 想 看 到 表 模 式 的 定义 ,请 使 用 describe 命令 . 下 面 是 例子 : 
hbase> describe 'wiki' 


hbase> describe ' .METRA. 
hbase> describe '-ROOT- 








wiki 的 文法 包含 许多 链接 ， 一 些 链 接 到 内 部 的 其 他 文章 ， 一 些 链接 到 外 部 资源 。 这 些 
内 部 链接 包含 了 大 量 的 拓扑 数据 。 让 我 们 把 它们 找 出 来 ! 

我 们 的 目标 是 找 出 文章 间 的 直接 链接 关系 , 指向 另 一 篇 文章 或 从 另 一 篇 文章 得 到 链接 。 
在 wiki 文本 中 ， 内 部 链接 是 这 样 的 : [[<target name>|<alt text>]]， 其 中 <targetname> 是 要 
链接 的 文章 ，<alt tex> 是 待 显 示 的 替代 文本 《可 选 )。 

例如 ， 如 果 关 于 《星球 大 战 》 的 文章 包含 字符 串 "[[Yodaljedi master]J"， 我 们 希望 保存 
该 关系 两 次 : 一 次 是 《星球 大 战 》 的 链 出 ， 另 一 次 是 Yoda 的 链 入 。 保 存 该 关系 两 次 意味 
着 ， 寻 找 一 个 页 面 的 链 入 和 链 出 都 会 很 快 。 


为 了 保存 这 种 附加 的 链接 数据 ， 要 创建 一 个 新 表 。 进 入 shell 并 输入 下 面 的 命令 ; 































































































hbase> create 'links', { 

NAME => 'to', VERSIONS => 1, BLOOMFILTER => 'ROWCOL'"' 
}，{ 

NAME => '‘'from', VERSIONS => 1, BLOOMFILTER => "ROWCOL 
} 
































在 原则 上 ， 可 以 选择 将 链接 数据 人 硬 挤 到 原 有 的 列 族 中 ， 或 者 在 wiki 表 中 添加 一 两 个 
列 族 ， 而 不 是 创建 一 个 新 表 。 创 建 独立 的 表 有 一 个 好 处 ， 它 会 有 独立 的 区 域 。 这 意味 着 在 
需要 的 时 候 ， 集 群 可 以 更 有 效 地 分 割 区 域 。 


根据 HBase 社区 对 列 族 给 出 的 一 般 建 议 ， 每 个 表 的 列 族 数 目 应 保持 较 小 。 可 以 将 更 多 
的 列 放 到 同一 个 列 族 中 ， 也 可 以 完全 将 列 族 放 到 不 同 的 表 中 。 这 种 选择 很 大 程度 上 取决 于 
客户 是 否 经 常 需 要 取得 整 行 数据 (而 不 是 只 需要 儿 列 的 值 )。 
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在 我 们 wiki 的 例子 中 ， 需 要 让 text 和 revision 列 族 放 在 同 




















个 表 里 ， 这 样 我 们 在 加 














Tu 


入 新 版 本 时 ， 元 数据 和 文本 的 时 间 蕉 是 一 样 的 。 但 链接 数据 不 一 样 ， 它 不 会 与 包含 它 的 














文章 具有 相同 的 时 间 截 。 而 且 ， 大 多 数 客户 的 动作 要 么 对 文章 内 











容 感 兴 趣 ， 要 到 对 抽取 



































的 文章 链接 信息 感 兴趣 ， 不 大 可 能 同时 对 两 者 感 兴趣 。 所 以 , 将 to 和 from 列 族 放 到 独立 





的 表 中 是 有 意义 的 。 








4.3.9 构建 扫描 程序 




















创建 了 Links 表 之 后 ， 就 可 以 编写 一 段 脚本 ， 扫 描 wiki 表 的 所 有 行 。 然 后 ， 针 对 每 一 


















































新 的 部 分 。 


CH 











行 ， 取出 wiki 的 文本 ， 解 析出 链接 。 最 后 ， 针 对 每 个 找到 的 链接 ， 在 1inks 表 中 创建 链 入 和 
链 出 记录 。 这 段 脚 本 的 大 分 部 对 你 来 说 应 该 相当 熟悉 。 大 部 分 内 容 是 重复 的 ， 我 们 将 讨论 几 个 








hbase/generate wiki links.rb 

import ‘org.apache.hadoop.hbase.client.HTable' 
import ‘org.apache.hadoop.hbase.client.Put' 
import '‘'org.apache.hadoop.hbase.client.sScan' 


import 'org.apache.hadoop.hbase.util.Bytes' 


def jbytes( *args ) 
return args.map { larg| arg.to s.to java bytes } 
end 


wiki table = HTable.new( Qhbase.configuration, ‘'wiki' ) 
links table = HTable.new( Qhbase.configuration, "了 IDKS' 


links table.setAutoFlush( false ) 


GD scanner = wiki table.getScanner( Scan.new ) 


) 


linkpatten = NEVE NNNINOEI LO NE a CI CL NE NE SNL NL 


count = 0 
while (result = scanner.next()) 


© title = Bytes.toString( result.getRow()) 


text = Bytes.toString( result.getValue( *jbytes( 'text', 


if text 


put to = nil 
@) text.scan (linkpattern)do Itarget, label | 


unless put to 
put to = Put.new( *jbytes( title ) ) 
put to.setWriteTowWAL( false ) 

end 


target.strip! 
target.capitalize! 


label = '' unless label 
label.strip! 


put to.add( *jbytes( "to", target, label ) ) 
put from = Put.new( *jbytes( target ) ) 
put from.add( *jbytes( "from", title, label ) ) 
put_ from.setWriteToWAL( false ) 

@ links table.put( put from ) 
end 

© links table.put( put to )if put to 
links table.flushCommits () 


end 


count += 1 


puts "#{count} pages processed (#{title})" if count %$ 500 == 
end 
links table.flushCommits () 


exit 
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G 首先 ， 取 得 一 个 Scan 对 象 ， 将 用 它 来 扫描 wiki 表 。 
@ 提取 行 和 列 的 数据 需要 某 种 字 节 转换 ， 但 通常 这 也 不 太 困难 。 












































@@ 每 次 页 面 文本 中 出 现 1inkpattern 时 ， 我 们 提取 出 目标 文章 和 链接 的 文本 ， 然 


后 将 这 些 值 加 入 到 Put 实例 中 。 
最 后 ， 让 表 执 行 累计 的 Put 操作 。 
































@@ 有 可 能 (尽管 可 能 性 不 大 ) 一 篇 文章 不 包含 任何 链接 , 所 以 要 用 if put _to 子 句 。 
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对 这 些 Put 操作 采用 setWriteToWAL (false) 的 设置 是 基于 一 种 判断 。 全 
是 为 了 学 习 ， 而 且 如 果 出 了 什么 问题 ， 只 要 重新 运行 这 个 脚本 ， 所 以 我 们 希望 速度 快 一 些 ， 接 
受 节点 可 能 失效 的 风险 。 


























4.3.10 ”运行 脚本 


如 果 你 准备 无 视 警 告 ， 义 无 反 顾 ， 那 就 执行 这 段 脚本 。 














${HBASE HOME}/bin/hbase shell generate wiki links.rb 





它 应 该 输出 以 下 内 容 : 





500 pages processed (10 petametres) 
1000 pages processed (1259) 

1500 pages processed (1471 BC) 

2000 pages processed (1683) 


























像 前 面 的 脚本 一 样 ， 可 以 让 它 爱 运行 多 和 久 就 运行 多 久 ， 甚 至 运行 完 。 如 果 你 想 停 止 ， 
就 按 CTRL+C 快捷 键 。 


可 以 像 前 面 那样 ， 用 qu 监控 该 脚本 的 磁盘 使 用 情况 。 你 会 看 到 新 的 项 ， 代 表 刚 创建 
的 links 表 ， 随 着 脚本 的 运行 ， 大 小 计数 会 增加 。 



































4.3.11 检查 输出 














我 们 刚才 以 编程 方式 创建 了 一 个 扫描 器 (scanner)， 以 执行 一 项 复杂 的 任务 。 接 下 来 
要 用 shell 的 scan 命令 ， 简 单 地 将 表 的 部 分 内 容 转 储 到 控制 台 。 


针对 脚本 在 text: plob 中 找到 的 每 个 链接 ， 它 将 一 视 同仁 地 在 1inks 表 中 创建 to 
和 from 项 。 要 查看 这 类 创建 的 链接 ， 可 以 转 到 shell 中 ， 扫 描 该 表 。 














































































































hbase> scan 'links', STARTROW => "Admiral Ackbar", ENDROW => "It's a Trap!" 




















你 应 该 看 到 许多 输出 。 当 然 ， 可 以 用 get 命令 来 看 某 篇 文章 的 链接 。 











人 

















hbase> get 'links', 'Star Wars' 
COLUMN CELL 





links:from:Admiral Ackbar timestamp=1300415922636, value= 
links:from:Adventure timestamp=1300415927098, value= 
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links:from:Alamogordo, New Mexico timestamp=1300415953549, value= 

links:to:"weird al" yankovic timestamp=1300419602350, value= 

links:to:20th century fox timestamp=1300419602350, value= 

linkestod-d fiLrn timestamp=1300419602350, value= 

links:to:Aayla secura timestamp=1300419602350, value= 
1 


也 Joe 问 道 : 

我 们 不 能 用 mapreduce 完成 这 项 任务 吗 ? 

4.1 节 解 释 了 对 应 例子 将 采用 (J) Ruby 和 Java Script。JRuby 与 Hadoop 相处 得 不 是 太 
好 ， 但 如 果 你 想 用 Java 来 实现 mapreduce， 应 该 将 这 段 扫描 程序 写成 一 个 mapreduce 
任务 ， 将 它 发 给 Hadoop。 


一 般 来 说 ， 像 这 样 的 任务 最 适合 用 mapreduce 来 实现 。 有 一 些 规 则 格式 的 输入 ， 由 了 映 
射程 序 处 理 (扫描 一 个 HBase 表 ), 还 有 一 些 输出 操作 ， 由 规约 程序 批量 处 理 ( 将 一 些 
行 写 到 一 个 HBase 表 中 )。 


Hadoop 架构 希望 任务 实例 是 用 Java 写 的 ， 并 完全 封装 (包括 所 有 依赖 关系 ) 到 一 个 
jar 文 件 中 ,可 以 发 送 到 集群 的 所 有 节点 上 。 较 新 版 本 的 JRuby 可 以 扩展 Java 类 , 但 与 
HBase 一 起 发 布 的 版 本 做 不 到 。 


有 一 些 开源 项 目 提 供 了 一 种 桥接 办 法 ， 能 在 Hadoop 上 运行 JRuby,， 但 还 没有 和 HBase 
配合 得 特别 好 的 。 有 传言 说 ， 将 来 HBase 的 基础 结构 将 包含 一 些 抽 和 象 ， 让 JRuby 的 映 
射 规约 任务 成 为 可 能 。 所 以 ， 将 来 还 是 有 希望 的 。 


在 wiki 表 中 ， 行 比 列 更 有 规则 。 前 面 提 到 ， 每 行 都 有 text:、revision:author 
和 revision:comment 等 列 。1inks 表 没 有 这 样 规则 。 每 行 可 以 有 一 列 或 几 百 列 。 列 名 
的 多 样 性 与 行 键 本 身 〈 维 基 百 科 文 章 的 标题 ) 的 多 样 性 一 样 。 这 不 是 什么 问题 ! HBase 称 
为 稀 玻 数据 存储 ， 正 是 出 于 这 个 原因 。 


现在 有 多 少 行 ， 可 以 用 count 命令 。 




































































要 查 出 表 








hbase> count ‘'wiki', INTERVAL => 100000, CACHE => 10000 
Current count: 100000, row: Alexander wilson (vauxhall) 
Current count: 200000, row: Bachelor of liberal studies 
Current count: 300000, row: Brian donlevy 


Current count: 2000000, row: Thomas Hobbes 
Current count: 2100000, row: Vardousia 
Current count: 2200000,row: Woebrrstadt (verbandsgemeinde) 
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2256081 row(s) in 173.8120 seconds 














由 于 HBase 的 分 布 式 架构 ， 它 不 能 立即 知道 每 个 表 中 有 多 少 行 。 要 查 出 结果 ， 必 须 
对 它们 进行 计数 《执行 表 扫 描 )。 季 运 的 是 ，HBase 的 存储 架构 是 基于 区 域 的 ， 这 让 它 能 
够 进行 快速 的 分 布 式 扫描 。 所 以 ， 即 使 操作 需要 表 扫描 ， 我 们 也 不 需要 像 其 他 数据 库 那 
样 担 心 。 




































































4.3.12 第 2 天 总 结 


























真是 充实 的 一 天 ! 我 们 学 习 了 如 何 为 HBase 编写 导入 脚本 ， 这 段 脚 本 从 XML 流 中 
析出 数据 。 然 后 运用 这 些 技巧 ， 直 接 将 维基 百科 的 数据 转 储 到 wiki 表 中 。 


我 们 学 习 了 更 多 的 HBase API， 包 括 一 些 客户 端 可 以 控制 的 性 能 级 别 ， 如 
setAutoFlush()、flushCommits() 和 setWriteToWAL()。 伴 随 这 些 代 码 行 ， 我 们 
讨论 了 HBase 的 一 些 架构 特性 ， 如 灾难 恢复 ， 这 是 通过 预 写 式 日 志 来 提供 的 。 


说 到 架构 ， 我 们 发 现 了 表 的 区 域 ， 以 及 HBase 如 何 将 职责 分 挫 给 集群 中 的 各 个 区 域 服 
务 器 。 我 们 扫描 了 .METRA. 和 -RooT- 表 ， 目 的 是 感受 HBase 的 内 部 结构 。 


最 后 ， 我 们 讨论 了 HBase 的 稀 玻 设计 在 性 能 方面 的 隐 含 意义 。 同 时 ， 我 们 介绍 了 关于 
列 、 列 族 和 表 的 一 些 社区 最 佳 使 用 实践 。 


第 2 天 作业 
。 找到 有 关 HBase 中 压缩 的 优 缺 点 的 讨论 或 文章 。 
。 找到 一 篇 文章 ， 解 释 Bloom 过 滤器 的 一 般 工 作 原 理 ， 以 及 对 HBase 产生 怎样 的 
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。 除了 使 用 哪个 算法 之 外 ， 列 族 还 有 其 他 哪些 选项 与 压缩 有 关 ? 
。 数据 类 型 和 预期 的 使 用 方式 是 如 何 先知 列 族 的 压缩 选项 的 ? 
实践 

在 数据 导入 的 想法 上 进行 扩展 ， 让 我 们 来 创建 一 个 包含 营养 成 分 信息 的 数据 库 。 


从 Data.gov 下 载 MyPyramid Raw Food Data 集 !。 解 压缩 ， 找 到 Food Display_ 



























































! http://explore.data.gov/Health-and-Nutrition/MyPyramid-Food-Raw-Data/b978-7txq 
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Table.xml。 




















这 些 数据 包含 许多 对 <Food Display Row> 标 签 。 在 这 些 标签 里 ， 每 行 都 有 
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一 个 





<Food Code>〔 整 数值 )， 一 个 <Display Name> (字符 串 )， 还 有 一 些 其 他 的 实际 食品 


数据 ， 包 含 在 相应 名 称 的 标签 中 。 
。 创建 一 个 名 为 foods 的 新 表 ， 它 只 包含 一 个 列 族 ， 存 放 这 









































SAX 解析 方式 ， 调 整 后 用 于 食品 数据 。 
。 在 命令 行 里 ， 将 食品 数据 传递 给 导入 脚本 ， 填 充 fooqs 表 






































。 最 后 ， 通 过 HBase 的 shell， 查 询 你 最 喜爱 的 食品 的 信息 。 
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在 前 2 天 ， 我 们 在 单机 模式 下 使 用 了 HBase， 获 得 了 许多 一 手 的 经 验 。 到 






































作为 行 键 ? 对 这 些 数据 ， 采 用 怎样 的 列 族 选项 比较 有 意义 ? 
。 创建 一 段 新 的 JRuby 脚本 来 导入 食品 数据 。 采用 前 面 Wikipedia 导入 脚本 中 用 

















些 实际 数据 。 你 用 




















o 





目前 为 止 ， 


我 们 的 经 验 集中 于 访问 单个 本 地 数据 库 。 实 际 上 ， 如 果 选 择 使 用 HBase， 你 想 要 的 是 一 个 

















有 相当 规模 的 集群 ， 从 而 实现 分 布 式 架 构 的 性 能 提升 。 
在 第 3 天 ， 我 们 将 关注 点 转向 远程 HBase 集群 的 操作 与 交互 。 






































发 





一 个 客户 端 应 用 ， 它 采用 二 进 制 协议 Thrift 来 连接 本 地 服务 器 。 然 后 利用 Amazon EC2 提 















































4.4.1 开发 Thrift 协议 的 HBase 应 用 





供 的 云 服 务 ， 启 动 一 个 多 节点 的 集群 ， 并 采用 Apache Whirr 作为 集群 管理 技术 。 

















































































































到 目前 为 止 ,我 们 一 直 在 使 用 HBase shell, 但 HBase 支持 多 种 客户 端 连接 协议 。 下 面 
是 完整 的 列表 : 
名 称 连接 方法 是 否 可 用 于 产品 
Shell 直接 是 
Java API 直接 是 
Thrift 二 进 制 协议 是 
REST HTTP 是 
Avro 二 进 制 协议 否 〔 仍 在 试验 阶段 》 
在 上 面 的 列表 中 , 连接 方法 描述 了 该 协议 是 直接 调用 Java, 还 是 通过 HTTP 传送 数据 ， 
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或 是 用 紧凑 的 二 进 制 格式 传送 数据 。 除 Avro 之 外 ， 它 们 都 是 产品 级 的 。Avro 还 比较 新 ， 
应 视 为 试验 特性 。 


在 所 有 这 些 选择 中 ，Thrift 可 能 是 开发 客户 端 应 用 时 最 常 采用 的 。Thrift 是 一 个 成 熟 的 
二 进 制 协议 ， 开 销 很 小 ， 最 初 由 Facebook 开发 并 开放 源 代 码 ， 后 来 成 为 Apache 孵化 项 目 。 
让 我 们 在 机 器 上 做 好 连接 Thrift 的 准备 。 


1. 安装 Thrift 


像 数据 库 领 域 上 的 许多 事情 一 样 , 使 用 Thrift 需要 一 些 设置 。 要 通过 Thrift 连接 HBase 
服务 器 ， 需 要 完成 下 列 工 作 。 


1. 让 HBase 运行 Thrift 服务 。 




















































































































2， 安装 Thrift 命令 行 工 具 。 
3. 安装 选 定 客户 端 语言 的 库 。 


4. 针对 你 的 语言 生成 HBase model 文件 。 


























5. 创建 并 运行 客户 端 应 用 。 
从 运行 Thrift 服务 开始 ， 这 相当 容易 。 像 这 样 从 命令 行 启动 守护 进程 : 





























${HBASE HOME}/bin/hbase-daemon.sh start thrift -b 127.0.0.1 





























接 下 来 ， 需 要 安装 Thrift 命令 行 工具 。 所 需 的 步 又 主要 取决 于 具体 环境 ， 一 般 需 要 编 
译 。 要 检查 安装 是 否 正 确 ， 可 以 在 命令 行 里 带 -version 参数 运行 。 你 应 该 看 到 类 似 这 样 
的 输出 : 


















































$ thrift -version 
Thrift version 0.6.0 





采用 Ruby 作为 客户 端 应 用 的 语言 ， 但 其 他 语言 的 操作 步骤 也 是 类 似 的 。 在 命令 行 安 
装 Thrift Ruby gem 是 这 样 的 : 




















$ gem install thrift 

















要 检查 gem 是 否 正 确 安装 ， 可 以 运行 这 样 一 行 Ruby 代码 : 





$ ruby -e "require 'thrift'" 











如 果 你 没 看 到 输出 信息 ， 即 就 成 功 了 ! 如 果 看 到 以 “no such file to load” 开 
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始 的 出 错 消息 ， 就 意味 着 你 应 该 停 下 来 ， 解 决 问题 后 再 继续 。 
2. 生成 model 文件 


接 下 来 ， 要 生成 针对 语言 的 一 些 HBase model 文件 。 这 些 model 文件 为 特定 的 HBase 
版 本 和 你 安装 的 具体 Thrift 版 本 建立 联系 ， 所 以 必须 生成 〈 而 不 是 预先 准备 好 ) 它们 。 首 
先 ， 定 位 ${HBASE HOME}/src 目录 下 的 Hbase.thrift 文件。 路 径 应 该 类 似 这 样 : 










































































${HBASE HOME}/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift 





























前 定 了 路 径 后 ， 用 下 面 的 命令 来 生成 model 文件 ， 尖 括号 部 分 用 路 径 取 代 : 





























$ thrift --gen rb <path to Hbase.thrift> 

















这 将 创建 新 的 文件 来 ， 名 为 gen-rb， 其 中 包含 下 列 model 文件 








上 


。 hbase constants.rb 

。 hbase.rb 

。 hbase types.rb 

接 下 来 ， 在 构建 简单 的 客户 端 应 用 时 ， 会 用 到 这 些 文件 。 
3， 构建 客户 端 应 用 


应 用 程序 将 通过 Thrift 协议 连接 HBase， 然 后 列 出 它 找到 的 所 有 表 ， 以 及 表 中 的 列 族 。 
这 些 是 为 HBase 开发 管理 界面 的 前 几 步 。 不 像 前 面 的 那些 例子 , 这 段 脚 本 将 在 普通 的 Ruby 
下 运行 ， 而 不 是 JRuby。 例 如 ， 它 可 以 包含 在 Ruby 开发 的 Web 应 用 中 。 


将 这 段 脚 本 录入 到 一 个 新 文本 文件 中 ( 称 为 thrift example.rb): 




















































































































hbase/thrift example.rb 
$:.push('./gen-rb') 
require 'thrift'"' 


require "Phpase' 

socket = Thrift::Socket.new( 'localhost', 9090 

transport = Thrift::BufferedTransport.new( socket ) 

protocol = Thrift::BinaryProtocol.new( transport ) 

client = Apache::Hadoop::Hbase: :Thrift::Hbase::Client.new( protocol ) 


transport.open () 


client.getTableNames() .sort.each do |tablel 
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puts "#{table}" 


client.getColumnDescriptors( table 


mm 


puts #{desc.name}™" 


mm 


puts maxVersions: 


mm 


puts compression: 


n 


puts 
end 
end 
OE 


trans close() 


bloomFilterType: 


) .each do |col， 


#{desc.maxVersions}" 


#{desc.compression}" 


#{desc.bloomFilterType}" 


desc| 





ey 


2 





在 上 面 的 代码 中 , 第 一 件 事 
文件 ， 并 包含 thrift 和 hbas 











在 打开 transport 后 ， 利 用 getTableNames () 取 
个 表 , 利用 getcolumnDescriptors () 取 回 所 有 列 族 进 





准 输出 。 


现在 ， 在 命令 
地 HBase 数据 库 。 


的 

















是 将 gen-rb 加 入 到 路 径 中 ， 
人 5 


有 有 





保 Ruby 能 找到 那些 model 














日 





/一 





所 有 表 名 并 进行 迭代 ， 针 对 每 

















有 








迭代 ， 





将 一 些 


属性 输出 到 标 











令 行 运行 这 个 程序 。 输 出 应 该 看 起 来 差不多 ， 


因为 正在 连接 前 面 启动 的 本 

















$> ruby thrift example.rb 
links 
from: 
i 
NONE 


maxVersions: 
compression: 
bloomFilterType: 
tS: 
本 
NONE 


maxVersions: 
compression: 
bloomFilterType: 
wiki 
revision: 
maxVersions: 
compression: NONE 
bloomFilterType: 
text: 
maxVersions: 
compression: GZ 


bloomFilterType: 


ROWCOL 


ROWCOL 


2147483647 


NONE 


2147483647 


ROW 

















你 会 发 现 ， 针 对 HBase 的 Thrift API 几乎 与 前 面 使 用 的 Java API 具有 同样 的 功能 ， 但 
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许多 概念 的 表达 方式 不 同 。 例 如 , 在 Thrift 中 没有 创建 Put 实例 , 而 是 创建 一 个 Mutation 


























来 更 新 单个 列 ， 或 创建 一 个 BatchMutation， 











前 面 利用 HBase .thri 











ft 文件 入 


E 成 了 一 








在 一 个 事务 中 更 新 多 个 列 。 


些 model 文件 (参见 4.4.1 小 节 下 面 的 “2. 





生成 model 文件 ” 节 )， 它 本 身 包含 了 许多 很 好 的 文档 ， 说 明了 可 用 的 结构 和 方法 。 请 参 


考 一 下 ! 


4.4.2 ”Whirr 简介 


利用 云 服 务 建立 可 用 的 集群 ， 过 去 需要 很 多 工作 。 焉 运 的 是 ，Whirr 正在 改变 这 种 情 
的 孵化 项 目 ， 它 提供 
接 和 销毁 。 它 支持 一 些 流行 的 服务 , 如 Amazon 的 Elastic Compute Cloud(EC2) 和 RackSpace 
的 云 服 务 器 。Whirr 目前 支持 设置 Hadoop、HBase、Cassandra、Voldemort 和 ZooKeeper 集 
群 ， 对 MongoDB 和 ElasticSearch 等 更 多 技术 上 


虽然 像 Amazon 这 样 的 服务 提供 商 通 常 提 
晶 我 们 不 会 使 用 这 些 方法 。 对 我 们 来 说 ， 临 时 











况 。Whirr 目前 还 是 Apache 日 





















































i 



























































足够 了 。 如 果 你 决定 将 来 在 生产 环境 中 使 有 


样 ， 值 得 考虑 一 下 专门 的 硬 人 





化 的 计算 能 力 非 常 合适 ， 但 专门 的 物 开 


4.4.3 ”设置 EC2 




















t 了 一 些 工具 ， 实 现 虚 拟 机 集群 的 启动 、 连 


的 支持 正在 进行 中 。 


供 一 些 方法 , 在 虚拟 机 终止 后 保存 一 些 数据 ， 
的 集群 ， 
昌 HBase， 你 可 能 希望 建立 持久 存储 。 如 果 是 这 









































在 终止 后 会 丢失 所 有 数据 ， 就 已 经 











F， 也 许 更 适合 你 的 需求 。 像 EC2 这 样 的 动态 服务 对 于 即时 变 














或 虚拟 机 集群 























通常 更 划算 。 
































在 使 用 Whirr 来 管理 集群 之 前 ， 需 要 一 个 云 服务 提供 商 的 账号 和 支持 。 本 章 介 绍 如 何 









































使 用 Amazon 的 EC2， 但 可 以 选 




















录 ， 如 果 你 的 账号 还 没有 激活 ， 就 对 你 的 账号 启 
下 打开 EC2 AWS 的 控制 台 页 面 。” 它 看 起 来 应 该 如 




















j 其 他 提供 商 。 


如 果 你 还 没有 Amazon 账号 ， 请 到 Amazon 的 Web 服务 (AWS) 门户 上 获取 一 个 。! 登 





























] EC2。“ 最 后 ， 在 Accounts Amazon EC2 
图 4-5 所 示 。 


你 需要 AWS 证 书 (credential) 来 启动 EC2 的 节点 。 回 到 AWS 的 主页 ， 选 择 Account 
Security Credentials, 移 到 下 面 的 Access Credentials 部 分 , 记 下 你 的 Access Key ID。 在 Secret 
Access Key 下 面 ， 点 击 Show， 也 请 记 下 这 个 
AWS ACCESS KEY ID 和 AWS SECR 














! http://aws.amazon.com/ 
2 http://aws.amazon.com/ec2/ 






































直 。 在 稍 后 配置 Whirr 时 ， 分 别称 这 些 键 为 


























ET ACC 





ESS K 








3 https://console.aws.amazon.com/ec2/#s=Instances 





PY。 
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VPC 


Elastic Beanstalk S3 EC2 









Navigation My Instances 
Region: 局 Launch Instance 
L 寺 US East (Virginia) v 


Viewing: | All Instances 
> EC2 Dashboard 


INSTANCES 
>Instances 

> Spot Requests 

> Reserved Instances 


IMAGES 
> AMIs 
> Bundle Tasks 


ELASTIC BLOCK STORE 
> Volumes 
> Snapshots 





CloudWatch Elastic MapReduce CloudFront CloudFormation RDS 





图 4-5 Amazon EC2 控制 


4.4.4 准备 Whirr 


SNS IAM 






@ Hep 


[B show/Hide | 十 Refresh 





:| | All Instance Types s|| | 


所 ”No Instances > 


You do not have any running instances. 
Click the Launch Instances button to start your own server. 


属 Launch Instance 


I 人 台 ， 无 实例 


有 了 EC2 证 书 ， 让 我 们 来 获取 Whirr。 到 Apache Whirr 网 站 ! 下 载 最 新 的 版 本 。 解压 下 








载 的 文件 ， 然 后 打开 一 个 命令 行 提 示 符 ， 
查 Whirr 是 否 已 经 准备 好 了 。 











转 到 这 个 目录 下 。 可 以 执行 version 命令 ， 








上 





$ bin/whirr version 
Apache Whirr 0.6.0-incubating 








接 下 来 ， 将 为 Whirr 创建 一 些 无 























动 实例 (虚拟 机 )。 











$ mkdir keys 
$ ssh-keygen -t rsa -P '' -f keys/id rsa 





会 创建 一 个 名 为 keys 的 目录 ， 并 在 里 面 生 成 一 个 idq_rsa 文件 和 一 个 
idq_rsa.pub 文件 。 解决 了 这 些 细节 问题 后 ， 就 可 以 开始 配置 集群 了 。 





4.4.5 配置 集群 


为 了 指定 关于 集群 的 细节 ， 向 Whirr 提供 一 个 














.properties 文件 ， 其 中 包含 相关 的 


设 定 。 在 Whirr 目录 下 创建 一 个 名 为 nbase .properties 的 文件 ， 内 容 如 下 在 标明 的 


! http://incubator.apache.org/whirr/ 
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地 方 插入 AWS_ACCESS KEY ID 和 AWS SECRET ACCESS KEY): 





hbase/hbase.properties 

# service provider 

whirr.provider=aws-ec2 

whirr.identity=your AWS_ ACCESS KEY_ ID here 
whirr.credential=your AWS_ SECRET ACCESS KEY here 


# ssh credentials 


whirr.private-key-file=keys/id rsa 





whirr.public-key-file=keys/id rsa.pub 


# cluster configuration 
whirr.cluster-name=myhbasecluster 
whirr.instance-templates=\ 
1 zookeeperthadoop-namenodethadoop-jobtrackerthbase-master,\ 


5 hadoop-datanodethadoop-tasktrackerthbase-regionserver 


# HBase and Hadoop version configuration 

whirr.hbase.tarball.url=\ 
http://apache.cu.be/hbase/hbase-0.90.3/hbase-0.90.3.tar.gz 

whirr.hadoop.tarball.url=\ 
http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3ul.tar.gz 














程序 的 前 两 部 分 指明 了 服务 提供 商 和 所 有 相关 的 证 书 (主要 是 样板 代码 ), 后 两 部 分 是 
具体 针对 要 创建 的 HBase 集群 的 。 其 中 whirr.cluster-name 并 不 重要 ,除非 你 打算 同 
时 运行 多 个 集群 。 eae whirr.instance-templates 包 
含 一 个 喜 号 分 阳 的 列表 ， 描 述 各 节点 承担 什么 ， 以 及 有 多 少 个 节点 。 在 例子 中 ， 希 望 
有 一 个 主 服务 器 和 5 个 区 域 服 务 器 。 最 后 ，whirr.hbase.tarball.url 强制 Whirr 更 
用 同样 版 本 的 HBase， 也 是 我 们 一 直 在 使 用 的 版 本 。 






























































Hr 


















































4.4.6 ”启动 集群 





所 有 配置 细节 保存 到 hibase .properties 中 之 后 , 就 可 以 启动 集群 了 。 在 命令 行 中 ， 
在 Whirr 目录 下 ， 执 行 1aunch-cluster 命令 ， 以 刚才 生成 的 属性 文件 作为 参数 。 









































$ bin/whirr launch-cluster --config hbase.properties 








会 产生 许多 输出 ， 并 且 需 要 等 待 一 些 时 间 。 你 可 以 回 到 AWS EC2 的 控制 台 
ee 它 看 起 来 应 该 如 图 4-6 所 示 。 


查看 




















而 
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ELASTIC BLOCK STORE 
> Volumes 
> Snapshots 











My Ins Instances 


Region: 属 Launch Instance 
[和 | ee 一 一 一 = 
上 US East (Virginia) We Al iances 
> EC2 Dashboard Name ™ Instance 
INSTANCES empty 围 -ff292791 
> Instances 了 ] | empty 围 i-f129279f 
:| | empty 围 -cf2927al1 
> Reserved Instances 

2 | empty 围 -cd2927a3 
IMAGES 本 

empty i-cb2927a5 

> AMIs La Py 国 
> Bundle Tasks 2 | empty 围 i-c92927a7 


0 EC2 Instances selected 


Select an instance above 


:| [Alinstance Types _ 
AMI ID 


ami-aef607c7 
ami-aef607c7 
ami-aef607c7 
ami-aef607c7 
ami-aef607c7 
ami-aef607c7 


Root Device 


ebs 


Elastic Beanstalk S3 EC2 VPC CloudWatch Elastic MapReduce CloudFront CloudFormation RDS 


[B show/Hide | 命 Refresh 





轧 Help 








Type Status 


mi.large | @ running 
mi.large | @ running 
mi.large | @ running 
milarge & D9 pending 
milarge 9 pending 
m1.large & 9 pending 








图 4-6 Amazon EC2 控制 台 显示 HBase 实例 1 


E 在 启动 











关于 启动 状态 的 更 多 信息 ， 可 以 查看 Whirr 目录 下 的 whirr.1og。 


4.4.7 ”连接 集群 




















默认 情况 下 ， 只 允许 与 集群 的 安全 通信 ， 所 以 要 连接 HBase， 需 
先 ， 需 要 知道 要 连接 的 集群 中 服务 器 的 名 称 。 在 你 的 用 户 根 目录 下 ，Whirr 创建 了 一 个 名 
你 会 看 到 一 个 以 制 表 符 (tab) 分 








为 .whirr/myhbasecluster 的 目录 。 
隔 的 文件 ， 名 为 instances， 其 中 列 昌 








在 这 个 目录 中 ， 
1 了 该 集群 所 有 正在 运行 的 Amazon 实例 。 





服务 器 公开 可 访问 的 域名 。 把 第 一 个 域名 代入 下 面 的 命令 





要 打开 SSH 会 


Securlt 
jcloudsi 
jclouds# 
jcloudsf# 
jcloudst 
jclouds# 
jclouds# 


会 话 。 首 





第 3 列 是 





$ ssh -i keys/id rsa ${USER}@<SERVER NAME> 








连接 成 功 后 ， 启 动 HBase shell: 





$ /usr/local/hbase-0.90.3/bin/hbase shell 





在 shell 启动 之 后 ， 可 以 通 


过 status 





命令 来 检查 集群 的 状态 。 





hbase> status 


6 servers, 0 dead, 2.0000 average load 





此 后 ， 就 可 以 执行 第 1 天 和 第 2 天 中 执行 过 的 所 有 操作 ， 如 创建 表 和 插入 数据 等 。 用 
示例 的 Thrift 客户 端 应 用 连接 集群 ， 留 在 作业 中 练习 。 
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当然 ， 结 束 今天 的 学 习 之 前 还 有 一 件 事 值 得 讨论 ， 即 销毁 集群 。 


4.4.8 销毁 集群 


放大 











完成 了 远程 HBase EC2 集群 之 后 ， 利 用 Whirr 的 destroy-cluster 命令 来 关闭 











它 。 请 注意 ,这样 做 会 丢失 所 有 插入 集群 中 的 数据 ， 因 为 没有 配置 这 些 实例 以 使 用 持久 



































存储 。 


在 命令 提示 符 下 ， 在 Whirr 目录 中 ， 执 行 下 面 的 命令 





$ bin/whirr destroy-cluster --config hbase.properties 
Destroying myhbasecluster cluster 
Cluster myhbasecluster destroyed 


























这 应 该 只 需要 一 会 儿 工 夫 。 在 AWS 控制 台中 确认 这 些 实例 已 关闭 ， 如 图 4-7 所 示 。 











如 果 在 关闭 这 些 实例 时 出 错 ， 要 记得 也 可 以 通过 AWS 控制 台 直 接 关 闭 它们 。 





Elastic Beanstalk S3 EC2 VPC CloudWatch Elastic MapReduce CloudFront CloudFormation RDS SNS IAM 








Navigation |Myinstances 
Region: 属 Launch Instance [B show/Hide 

旺 ia) 一 -一 一 

US East (Virginia) Vi :Al Ins a 避 ET st n Ty | | | 

> EC2 Dashboard Name ~ Instance AMI ID Root Device Type Status Security Grou 
这 | empty 围 -ff292791 ami-aef607c7 ebs milarge ， 同 shutting-down jclouds#myhba 
> Instances -| empty EE | i-f129279f ami-aef607c7 ebs m1.large ®@ terminated jclouds#myhba 
”Spot Requests 了 empty ， 国 -efzez7al ami-aef607c7 ebs milarge  ®@ terminated jclouds#myhba 
> Reserved Instances - 

empty 围 i-cd2927a3 ami-aef607c7 ebs m1.large 9 shutting-down jclouds#myhba 

es empty “ 败 icb2927a5 amiaef607c7 ebs milarge ， 国 shutting-down jclouds#myhba 
> S 加 

> Dandie Tal empty ， 转 ic92927a7 ami-aef607c7 ebs milarge shutting-down jclouds#myhba 
ELASTIC BLOCK STORE 0 EC2 Instances selected 

> Volumes Select an instance above 


> Snapshots 








图 4-7 Amazon EC2 控制 台 显示 HBase 实例 正在 关闭 











4.4.9 第 3 天 总 结 


们 开 


今天 ， 我 们 离开 了 HBase shell， 考 察 了 其 他 的 连接 方式 ， 包 括 二 进 制 协议 Thrift。 我 
发 一 个 Thrift 客户 端 应 用 ， 然 后 通过 Apache Whim， 在 Amazon EC2 中 创建 并 管理 一 















































个 远程 集群 。 在 今天 的 作业 中 ， 你 要 将 这 两 步 串 起 来 ， 通 过 在 本 地 运行 的 Thriff 应 用 ， 查 





询 远 程 的 EC2 但 











群 。 


凌 
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第 3 天 作业 

在 今天 的 作业 中 ， 你 要 用 本 地 的 Thrift 应 用 来 连接 远程 运行 的 HBase 集群 。 要 做 到 这 
一 点 ， 先 要 打开 和 集群， 允许 不 安全 的 TCP 接 入 。 如 果 是 在 生产 环境 中 ， 先 为 Thrift 创建 一 
个 安全 通道 会 更 好 ,例如 , 在 EC2 和 本 地 网 络 之 间 建 立 虚拟 专用 网 (Virtual Private Network， 











































































































VPN)。 这 样 的 设置 超出 了 本 书 的 范围 ， 我 们 需要 说 的 是 ,在 必要 的 时 候 ， 强 烈 建 议 确保 通 
信安 全 。 
实践 














。 在 你 的 EC2 集群 运行 时 ， 打 开 SSH 会 话 连接 一 个 节点 ， 启 动 Hbase shell， 然 后 创 
建 一 个 表 ， 其 中 至 少 包 含 一 个 列 族 。 


。 在 同一 个 SSH 会 话 中 ， 启 动 Thrift 服务 。 









































$ sudo /usr/local/hbase-0.90.3/bin/hbase-daemon.sh start thrift -b 0.0.0.0 




















。 利用 Amazon EC2 的 Web 界面 控制 台 ， 在 Security Groups 中 ， 为 集群 打开 TCP 端 
口 9090 (Network & Security 一 Security Groups 一 Inbound 一 Create a new rule )。 


Rs 



































。 修改 前 面 开 发 的 、 基 于 Thrift 的 简单 Ruby 客户 端 应 用 ， 连 接 到 运行 Thift 的 EC2 
节点 ， 而 不 是 本 地 主机 。 运 行程 序 ， 确 认 它 显示 了 刚 创 建 的 表 的 正确 信息 。 









































4.5 总 结 


性 ED 











HBase 是 简单 性 和 复杂 性 的 统一 体 。 数据 存储 模型 相当 人 简单， 有 一 些 内 置 的 模式 限制 。 
许多 术语 来 自 关 系数 据 库 , 但 改变 了 原来 的 意义 , 这 对 学 习 帮 助 不 大 (例如, 术语 表 和 列 )。 
大 部 分 HBase 模式 设计 决定 表 和 列 的 性 能 特点 。 


























4.5.1 HBase 的 优点 





























HBase 中 值得 注意 的 特性 包括 健壮 的 可 伸缩 架构 , 以 及 内 置 的 版 本 和 压缩 功能 。 HBase 
内 置 的 版 本 功能 在 某 些 情况 下 是 强大 的 特性 。 例 如 ， 对 于 监控 和 维护 来 说 ,保存 wiki 页 面 
的 版 本 历史 是 一 项 关键 特性 。 选 择 了 HBase， 就 不 必 通 过 其 他 方法 来 实现 页 面 历史 ， 免 费 
实现 了 这 一 特征 。 

在 性 能 方面 ，HBase 意味 着 可 伸缩 。 如 果 你 有 大 量 的 数据 ， 达 到 很 多 GB 或 很 多 TB， 
HBase 可 能 适合 你 。HBase 是 支持 机 架 的 ， 在 数据 中 心 的 机 架 内 或 机 架 之 间 复 制 数据 ， 这 
样 就 能 够 优雅 而 快速 地 处 理 节 点 失效 。 
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HBase 社区 相当 不 错 。 儿 乎 总 是 有 人 在 IRC 频道 :或 邮件 列表 "上 准备 回答 问题 ， 给 你 





出 正确 的 方向 。 虽 然 有 一 些 知名 度 很 高 的 公司 在 项 目 中 使 用 HBase， 但 没有 公司 提供 







































































HBase 服务 。 这 意味 着 ，HBase 社区 的 人 这 么 做 是 出 于 对 项 目的 热爱 和 公共 利益 。 





4.5.2 ”HBase 的 缺点 


节 


分 











虽然 HBase 的 设计 目的 是 可 伸缩 性 ， 但 它 不 能 缩小 。HBase 社区 似乎 一 致 同意 ，5 个 























点 是 你 想 要 的 最 小 配置 。 因 为 它 的 设计 目的 是 大 集群 ， 所 以 它 也 较 难 管理 。 解 决 小 问题 
不 是 HBase 关心 的 事情 ， 非 专家 级 的 文档 难以 得 到 ， 这 使 得 学 习 曲 线 更 陡 。 
另外 ，HBase 几乎 从 来 不 会 单独 部 署 。 它 是 一 些 可 伸缩 模块 构成 的 生态 系统 中 的 一 部 


。 这 包括 Hadoop (Google 的 MapReduce 思想 的 一 种 实现 )、Hadoop 分 布 式 文件 系统 
(HDFS) 和 Zookeeper 
































重 


的 维护 工作 。 











键 
来 


如 
字 



















































































(一 种 无 领导 者 的 服务 (headless service )， 帮 助 节点 间 的 协调 )。 这 




















个 生态 系统 既 有 优势 ， 又 有 劣势。 它 提供 强大 的 架构 稳定 性 ， 同 时 也 给 管理 员 带 来 了 更 繁 






































HBase 有 一 个 值得 一 提 的 特点 ， 即 除了 行 键 之 外 ， 它 不 提供 任何 索引 功能 。 行 是 按 行 














排序 来 保存 的 ， 但 其 他 字段 没有 这 样 的 排序 ， 如 列 名 和 值 。 所 以 ， 如 果 你 希望 不 按 行 键 









































查找 行 ， 就 需要 扫描 表 ， 或 自己 维护 索引 。 
































另 一 个 缺失 的 概念 是 数据 类 型 。HBase 中 所 有 字段 的 值 都 作为 不 解释 的 字 节 数组 。 比 
， 整 数值 、 字 符 串 和 日 期 之 间 没 有 区 别 。 对 HBase 来 说 ， 它 们 都 是 一 些 字 节 ， 所 以 这 些 












































节 的 解释 取决 于 应 











程序。 





4.5.3 HBase on CAP 


性 





AAA 


级 














在 CAP (Consistency、Availability、Partition Tolerance， 即 一 致 性 、 可 用 性 和 分 区 容错 
) 方面 ， HBase 肯定 是 CP。HBase 提供 强大 的 一 致 性 保证 。 如 果 某 个 客户 端 成 功 地 写 入 















































了 一 个 值 ， 其 他 客户 端 将 在 接 下 来 的 请 求 中 收 到 这 个 更 新 的 值 。 有 些 数据 库 ( 如 Riak) 多 




















F 你 以 每 个 操作 为 基 而 


来 实现 CAP。HBase 不 是 这 样 的 。 在 面 对 合 理 数量 的 分 区 时 《如 一 


























节点 失效 ), HBase 仍然 可 用 , 它 会 将 职责 转 到 集群 中 的 其 他 节点 。 但 在 严重 故障 情况 下 ， 





有 一 个 节点 还 有 效 ， 

















HBase 就 别 无 选择 ， 只 能 拒绝 请 求 。 
































1 irc:Wirc.freenode.net/#hbase 
2 http://hbase.apache.org/mail-lists.html 








如 果 引 入 集群 到 集群 的 复制 , 关于 CAP 的 讨论 就 会 有 点 复杂 。 这 是 本 章 没 有 介绍 的 高 
功能 。 典型 的 多 集群 设置 会 有 几 个 集群 ,分 布 在 有 一 定 距 离 的 不 同位 置 。 在 这 种 情况 下 ， 
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对 于 给 定 的 列 族 ， 一 个 集群 负责 记录 ， 其 他 集群 上 只 是 提供 对 复制 数据 的 访问 。 系 统 最 终 会 
一 致 ， 因 为 复制 集群 将 提供 它们 认为 的 最 新 数据 ， 但 可 能 不 是 主 集群 中 最 新 的 数据 。 






































4.5.4 ”结束 语 














作为 我 们 遇 到 的 第 一 个 非 关 系数 据 库 ，HBase 相当 有 挑战 。 术 语 具 有 欺骗 性 ， 让 我 们 
觉得 好 像 轻松 ， 而 实际 上 安装 和 配置 HBase 需要 内 心 比较 强大 才 行 。 在 好 的 一 面 ，HBase 
提供 了 一 些 非常 独特 的 特性 ， 如 版 本 和 压缩 。 在 解决 一 些 特定 问题 时 ， 这 些 方面 让 HBase 
很 有 吸引 力 。 当 然 ， 它 的 伸缩 性 相当 好 ， 可 以 在 常用 硬件 上 扩展 到 许多 节点 。 总 的 来 说 ， 
HBase 就 像 射 钉 枪 ， 是 相当 强大 的 工具 ， 所 以 要 当心 你 的 手指 。 
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MongoDB 在 许多 方面 就 像 一 个 电钻 。 完 成 人 


同 尺寸 的 钻头 到 








于 使 用 ， 而 且 既 能 完成 大 任务 ， 也 


MongoDB 





拉 
je 








by 


FE 务 的 能 力主 要 取决 于 选用 的 组 伯 
砂 机 适配器 (sander adapter))。MongoDB 的 长 处 在 于 多 功能 、 





F 《从 不 
强大 、 易 








[= 





能 完成 小 任务 。 虽 然 它 是 一 个 很 新 

















[ 程 ) 





经常 采用 





MongoDB 了 


成 为 一 个 可 伸缩 
存 取 数据 是 其 核 


要 的 是 ， 它 能 够 


Postgres )， 所 以 文档 选择 怕 


但 不 要 认为 
简称 为 Mongo) 
机 的 数据 。 





S.1 


关系 数据 库 


Mongo 在 这 两 者 之 间 找 到 了 最 折 
就 是 他 希望 在 DoubleClick 时 拥有 的 数据 库 , 罚 





要 


模 的 数据 ， 又 


Mongo 是 一 个 JSON 文档 数 ] 
即 所 谓 的 BSON)。Mongo 文档 可 以 看 成 是 没有 模式 的 关系 表 ， 它 站 


县 


| .No 





的 了 


F 2009 年 首次 发 布 ， 成 为 NoSQL 领域 中 上 
的 数据 库 (Mongo 的 名 字 来 自 于 “humongous”， 
心 设计 目标 。 它 是 一 个 文档 数据 库 ， 允 座 
以 任意 方式 查询 艇 套 的 数据 。 它 不 强 
FE 包含 的 一 些 字段 或 类 型 


大 二 ， 
MongoDB 的 灵活 性 让 它 变 成 一 个 玩 









































其 大 无 

















十 


中 








加 使 用 模式 
在 该 集合 的 3 
有 一 些 规 模 
E 产 环境 部 署 ， 如 Foursquare、bitly，CERN 也 





(与 Ri 





























ER 


AN 


























其 大 无 比 








有 强大 的 查询 能 力 ，Riak 和 HBase 这 相 
LF 结合 点 。 项 目 


0 中 .、 


















































by 


HEY 





黄 足 自由 定义 的 查询 。 
据 库 (虽然 在 技术 




















的 工 


中 冉 升 起 的 一 颗 计 


F 数 据 以 嵌 套 的 省 




















,但 逐渐 成 为 


折 星 。 它 被 设计 
比 )， 性 能 和 易于 
\ 态 保存 ， 而 且 重 
ak 相似 ， 不 同 于 








Eo 











其 他 文档 中 可 以 没有 。 


巨大 的 MongoDB( 常 
] 它 来 收集 大 型 划 


Ll 


子 对 撞 








是 
D 





和 的 数据 存储 具有 分 布 式 的 特点 ， 
创始 人 Dwight Merriman 曾 说 过 ，MongoDB 
Bb 时 他 是 DoubleClick 的 CTO， 需 要 保存 大 规 


上 数据 是 以 二 进 制 JSON 的 形式 保存 的 ， 














的 值 可 




















以 据 套 但 
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要 理解 JSON 文档 的 概念 ， 请 看 图 5-1。 











> printjson( db.towns.fndOne({"_id" : Objectld("4d0b6da3bb30773266f39fea ))) ) 








集合 
"$id" : Objectld("4d0e6074deb85 数据 库 
}, 
"famous_for" : [ 标识 符 
"beer ， 
food 文档 


]， 
"last_census" : "Thu Sep 20 2007 00:00:00 GMT-0700 (PDT)", 
"mayor" :{ 

"name" : "Sam Adams", 

"party” : "D" 
}, 
"name" : "Portland", 
"population" : 582000, 
"state" : "OR" 





图 5-1 Mongo 文档 转 出 为 JSON 的 形式 




















一 些 Web 项 目 需 要 高 伸缩 性 的 数据 存储 ， 但 预算 很 少 ， 不 能 购 卖 “ 大 铁 块 ” 似 的 昂贵 





























人 硬件。 这 样 的 项 目 越 来 越 多 ，Mongo 正 是 极 好 的 选择 。 正 因为 Mongo 缺乏 结构 化 的 模式 ， 








它 可 以 随 着 数据 模型 而 增长 和 变化 。 如 果 你 就 职 于 一 个 做 Web 项 目的 创业 公司 ， 怀 着 做 大 
的 梦想 ， 或 者 已 经 很 大 ， 需 要 扩展 服务 器 的 数量 ， 请 考虑 使 用 MongoDB。 























5.2 第 1 天 : CRUD 和 网 套 





我 们 今天 将 学 习 一 些 CRUD 操 作 , 最 后 完成 在 MongoDB 中 进行 嵌 套 查询 。 像 往常 一 样 ， 


我 们 不 会 























展示 安装 步骤 , 但 如 果 你 访问 Mongo 网 站 ', 就 可 以 下 载 适 合 你 的 操作 系统 的 版 本 ， 








或 找到 从 源 代码 构建 的 说 明 。 如 果 你 使 用 OS X， 我 们 推荐 通过 Homebrew 安 装 (brew 
install mongodb)。 如 果 你 使 用 Debian/Ubuntu 的 变种 , 请 试用 Mongodb.org 自 己 的 apt-get 


包 。 


为 了 防止 录入 错误 ，Mongo 要 求 你 先 创建 目录 ， 让 mongod 来 存放 数据 。 常 见 的 位 置 
































Ns A 




















是 /aata/db。 要 确保 运行 服务 器 程序 的 用 户 对 这 个 目录 有 读 写 权 限 。 如 果 它 还 没有 运行 ， 

















可 以 通过 运行 mongod 来 启动 Mongo 服务 。 





! http:/www.mongodb.org/downloads 


5.2 第 1 天 : CRUD 和 内 套 131 


5.2.1 命令 行 的 乐趣 





要 创建 一 个 名 为 book 的 新 数据 库 ， 先 在 终端 上 执行 下 面 的 命令 。 它 将 连接 到 一 个 命 
令 行 界面 ， 该 界面 是 模仿 MySQL 的 。 




















$ mongo book 
































在 控制 台 输 入 nelp， 这 是 不 错 的 开始 。 我 们 目前 在 book 数据 库 中 ， 但 你 可 以 通过 


show dbs 来 查看 其 他 数据 库 ， 通 过 use 命令 切换 数据 库 。 





















































在 Mongo 中 创建 一 个 集合 (collection， 类 似 于 Riak 术语 中 的 bucket) 非常 容易 ， 只 
要 在 该 集合 中 加 入 第 一 条 记录 。 因 为 Mongo 是 没有 模式 的 ， 所 以 不 需要 先 定义 任何 东西 ， 
使 用 它 就 够 了 。 而 且 ， 如 果 不 在 book 数据 库 中 添加 值 ， 它 实际 上 并 不 存在 。 下 面 的 代码 
创建 /插入 了 一 个 towns 集合 : 





































































































> db.towns.insert({ 
name: "New York", 
population: 22200000, 
last census: ISODate ("2009-07-31"), 


famous for: [ "statue of liberty", "food™" ], 
mayor : { 

name : "Michael Bloomberg", 

Arty 于 下 于 








Eric 说 : 

观望 

在 我 改变 自己 的 产品 代码 之 前 ， 我 对 使 用 文档 式 的 数据 存储 库 持 观望 态度 。 我 来 自 于 关 
系数 据 库 的 世界 ， 我 发 现 迁 移 到 Mongo 很 容易 ， 因 为 它 可 以 即席 (adhoc ) 查询 。 而且 
它 的 伸缩 能 力也 符合 我 的 Web 伸缩 梦想 。 但 除了 结构 ， 我 更 信任 开发 团队 。 他 们 很 乐意 
承认 Mongo 不 完美 ， 但 他 们 的 计划 很 清晰 (而且 通常 遵守 这 些 计 划 )， 这 些 计划 是 基于 
一 般 Web 架构 使 用 场景 ， 而 不 是 理想 化 地 争论 伸缩 性 和 复制 。 在 用 MongoDB 时 ， 这 种 
对 可 用 性 的 务实 关注 会 闪闪 发 光 。 对 这 种 渐进 行为 的 折 中 ， 就 是 在 Mongo 中 任何 给 定 
的 功能 ， 都 有 几 种 方式 来 执行 。 





前 一 节 说 过 文档 是 JSON (实际 上 是 BSON)， 所 以 以 JSON 的 格式 添加 新 文档 ， 其 中 
的 花 括号 {...} 表 示 一 个 对 象 ( 如 一 个 哈 希 表 或 映射 表 ), 对 象 包含 键 和 值 。 其 中 的 方 括号 [...] 
表示 一 个 数组 。 可 以 用 任意 深度 嵌 套 这 些 值 。 
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通过 show collections 命令 ， 可 以 检验 现在 存在 的 集合 。 





> Show collections 


System. indqexes 


towns 











刚刚 创建 了 towns， 而 system.indexes 已 经 存在 了 。 可 以 通过 find () 列 出 一 个 
集合 的 内 容 。 为 了 可 读 ， 对 输出 进行 了 格式 化 ， 但 输出 可 能 就 是 带 换行 的 一 行 。 

















> db.towns.find() 


{ 
"_id" : ObjectId("4d0ad975bb30773266f39fe3"), 


"name™" : "New York", 

"population": 22200000, 

"last census™": "Fri Jul 31 2009 00:00:00 GMT-0700 (PDT)™, 
"famous for" : [ "statue of liberty", "food" |], 

"mayor" : { "name" : "Michael Bloomberg", “party" : "I" } 














与 关系 数据 库 不 同 ，Mongo 不 支持 服务 器 端的 连接 (Join) 操作 。 单 条 JavaScript 调用 
会 取出 一 个 文档 ， 以 及 它 所 有 峰 套 的 内 容 ， 不 需要 额外 的 工作 。 


你 可 能 已 经 注意 到 ， 新 插入 城镇 的 JSON 输出 包含 一 个 _iq 字段 ， 值 是 ObjectId。 这 
和 PostgreSQL 中 SERIAL 产生 自 增 的 数字 主键 类 似 。obJjectId 总 是 12 字 节 ， 由 时 间 戳 、 客 
户 端 机 器 ID、 客户 端 进程 ID 和 3 字 节 的 增 量 计数 器 组 成 。 图 5-2 展示 了 这 些 字 节 的 布局 。 


这 种 自动 计数 设计 的 好 处 在 于 ， 每 台 机 器 上 的 每 个 进程 都 能 够 处 理 自己 的 ID 生成 ， 
而 不 会 与 其 他 mongog 实例 发 生 冲 突 。 这 个 设计 选择 提示 了 Mongo 的 分 布 式 特征 。 


























































































































JavaScript 

















Mongo 的 母语 是 JavaScript， 不 论 是 复杂 到 mapreduce 查询 ， 还 是 简单 到 要 求 帮助 。 

















> db.help() 
> db.towns.help() 





a 
oa ggrs bbjeolzzlszlelfsjs 


和 


图 5-2 ”ObjectId 布局 示例 
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这 些 命令 将 针对 给 定 对 象 ， 列 出 相关 的 可 用 函数 。qdb 是 一 个 JavaScript 对 象 ， 它 包含 
当前 数据 库 的 有 关 信息 。db .x 是 一 个 JavaScript 对 象 ， 代 表 一 个 集合 〈 名 为 x)。 命 令 就 
是 JavaScript 函数 。 

















[ea 


> typeof qd 
object 

> typeof db.towns 
object 





> typeof db.towns.insert 


function 





如 果 你 想 查 看 源 代码 ， 就 不 带 参 数 和 圆 括 号 来 调用 它 〈 更 像 Python， 而 非 Ruby)。 








db.towns.insert 
function (obj], allow dot) { 
if (lobj) { 
throw "no object passed to insert!"; 


if (! allow dot) { 
this. validateForStorage (obj); 


if (typeof obj. id == "undefined") { 
Var tmp = obj; 
obj = {_id:new ObjectId}; 
for (var key in tmp) { 
obj[key] = tmplkey]; 


} 
this. mongo.insert (this. fullName, obj); 
this. lastID = obj._id; 





说 


让 我 们 创建 自己 的 JavaScript 函数 ， 向 towns 集合 填充 更 多 的 文档 





由 








Hl 














o 





mongo/insert city.js 
function insertCity( 
name, population, last census, 
famous_ for, mayor_ info 
ye 
db.towns.insert({ 
name :name, 
population:population, 
last census: ISODate(last census), 
famous for:famous for, 


mayor : mayor info 
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}); 











可 以 将 代码 复制 到 shell。 然 后 可 以 调用 它 。 





insertCity("Punxsutawney", 6200, '2008-31-01"', 
["phil the groundhog"], { name : "Jim Wehrle" } 


nsertCity(vPortlianad. 820007 2007=20=09", 
["beer™, fooa"l]y ‘{ name % "Sam Adams"y party +? "D™ :1} 

















昧 合 中 现在 应 该 有 了 3 个 城镇 ， 可 以 像 以 前 那样 调用 db .towns .fing () 来 确认 。 











y 


5.2.2 ”Mongo 的 更 多 有 趣 内 容 




















前 面 我 们 曾 不 带 参 数 调 用 fina () 函数 ， 取 得 所 有 文档 。 要 访问 特定 的 文档 ， 只 需要 














设置 id 属性 。 iq 是 ObjectIg 类 型 ， 要 碍 询 ， 就 必须 利用 objectId (str) 函数 ， 





对 字符 串 进行 转换 。 








db.towns.find({ "idq" : ObjectId("4q0adalfbb30773266f39fe4") }) 


"_id" :; ObjectId("4d0adalfbb30773266f39fe4"), 


"name™" : "Punxsutawney", 

"population™ : 6200， 

"last census™" : "Thu Jan 31 2008 00:00:00 GMT-0800 (PST)™, 
"famous for™" : [ "phil the groundhog"™" ], 

"mayor™" : { "name™ : "Jim Wehrle" } 








find () 函数 也 接受 可 选 的 第 二 个 参数 ， 它 是 一 个 字段 对 象 ， 用 于 过 滤 要 取得 哪些 字 
如 果 只 需要 城镇 的 名 称 〈 以 及 _id)， 传 入 name 和 结果 为 1〈 或 true) 的 值 。 


























db.towns.find({ _id : ObjectId("4d0adalfbb30773266f39fe4") }, { name : 1 }) 


{ 
"_id" :; ObjectId("4d0adalfbb30773266f39fe4"), 


"name™" : "Punxsutawney" 





要 取得 除名 称 外 的 所 有 字段 ， 将 name 设置 为 0 (或 者 false 或 null)。 





db.towns.find({ _id : ObjectId("4d0adalfbb30773266f39fe4") }, { name : 0 }) 
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"_id" : ObjectId("4d0adalfbb30773266f39fe4"), 


"population™ : 6200， 
"Last censuisyY Thu van. 31 2008-00300%00 GMT=0800" (PST)Y™, 
"famous for™" : [ "phil the groundhog™" |] 


} 


























像 PostgreSQL 一样 ， 在 Mongo 中 可 以 构造 自由 定义 的 查询 ， 按 字段 的 值 、 范 围 或 组 合 
条 件 来 查询 。 要 找到 以 字母 P 开 头 、 人 口 少 于 10 000 的 所 有 城镇 ， 可 以 使 用 Perl 兼 容 的 正则 
表达 式 (PCRE) :和 一 个 范围 操作 符 。 








TT 

































































db.towns.findl 
{ name : /^P/, population : { $lt : 10000 } }, 
{ name : 1, population : 1 } 


{ "name™" : "Punxsutawney", "population™" : 6200 } 





Mongo 中 的 条 件 操作 符 遵 循 字段 的 格式 : { Sop : value }， 其 中 $op 是 一 个 操作 
符 , 如 $ne (不 等 于 )。 你 可 能 想 要 更 简明 的 语法 , 如 field<value。 但 这 是 JavaScript 
代码 ， 不 是 领域 特定 的 查询 语言 ， 所 以 查询 必须 符合 JavaScript 的 语法 规则 (今天 晚 些 时 


候 我 们 会 看 到 ， 在 特定 情况 下 如 何 使 用 更 短 的 语法 ， 但 现在 我 们 先 跳 过 )。 















































iT 








查询 语言 是 Javascrip 也 有 好 处 , 可 以 像 构 造 对 象 一 样 构 造 操作 。 这 里 构造 了 一 个 条 代 
人 口 必须 在 1 万 和 100 万 之 间 。 


~ 




















Var population range = {} 
population range['$1t'] 1000000 
population range['$gt'] = 10000 
db.towns.findl 
{ name : /^P/, population : population range }, 


{ name: 1 } 


mm 


_id" : ObjectId("4d0ada87bb30773266f39fe5"), "name™" : "PortJIana" } 











不 限于 数字 范围 ， 还 可 以 取 日 期 范围 。 可 以 找到 所 有 last_census 小 于 等 于 2008 
年 1 月 31 日 的 城镇 名 称 ， 如 下 所 示 : 























db.towns.findl 
{ last census : { $lte : ISODate('2008-31-071') } }, 


{ _id : 0, name: 1 } 


{ "name”" : "Punxsutawney" } 


! http:/www.pcre.org/ 
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{ "name™ : "Portland™" } 

















请 注意 我 们 是 怎样 阻止 输出 _id 字段 的 ， 显 式 地 将 它 设置 为 0。 





5.2.3 ” 深 入 挖掘 











Mongo 喜爱 髓 套 的 数组 数据 。 可 以 查询 精确 














的 匹配 值 … 





db.towns.findl 























tf famous .for ss, foo0r .}s 

{tid * OF name < 1 famous: for ry 1 } 
) 
{ "name™" : "New York", "famous for" : [ "statue of liberty", "food" ] |】 
tt"“name. 3 Chortliand's "tamous for™ wo “beer™ “fond 1]. 

立 | i 

ey 以 及 匹配 音 分 人 ee 
db.towns.findl( 

{ famous for : /statue/ }, 

{ _id : 0, name : 1, famous for : 1 } 
) 
{ "name™" : "New York", "famous for" : [ "statue of liberty", "food" ] |】 











qb .towns .find( 


{ famous for : { $all : ['food', 'beer'] 


{ _id : 0, name:1, famous for:l1 } 


} 1}, 


{ "name™" : "Portland", "famous for™" : [ "beer", "food" ] } 








二 或 排除 匹配 的 值 ; 

















qb .towns .finad( 


{ famous for : { S$nin : ['food', 'beer'] 
{, id 0 Tame 2 Ly "famous tor .中 

) 

{ "name™" : "Punxsutawney", "famous_for™" : 


:= 


[ "phil the groundhog™" ] 

















但 Mongo 真正 的 力量 来 自 于 深入 挖掘 文档 




















文档 ， 字 段 名 称 就 是 以 点 分 隔 的 嵌 套 层 的 字符 旨 











， 并 返回 深层 幅 套 子 文档 的 


Ud 











疆 轩 











“ 口 信 o 


查询 子 
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例如 ， 可 以 找到 有 独立 市 长 的 城镇 …… 
db.towns.findl 
{ 'mayor.party' Te 
{ _id : 0, name : 1, mayor : 1 } 
) 
{ 
"name™" : "New York"™, 
"mayor™" : { 
"name" : "Michael Bloomberg", 
nparty™" : "I" 
} 
} 
ee 或 那些 市 长 没有 注 明 党 派 的 城镇 : 
qb .towns .find( 
{ "mayor .Partyy" { Sexists : false } } 
{ _id : 0, name : 1, mayor : 1 } 
) 
{ "name" : "Punxsutawney", "mayor" { "name™" : "Jim Wehrle" } } 
如 果 你 想 找 到 匹配 单个 字段 的 文档 ， 前 面 的 查询 很 好 ， 但 如 果 你 需要 匹配 一 个 子 文档 
的 多 个 字段 呢 ? 
1.， elemMatch 
接 下 来 讨论 SelemMatch 指令 ， 从 而 完成 深入 挖掘。 创建 另 一 个 集合 ， 存 放 国 家 。 这 
次 将 利用 自选 的 字符 串 来 覆盖 每 个 idq。 
db.countries.insert({ 
EO Ml 
name : "United States", 
exports : { 
fo0ds “£1([ 
{ name : "bacon", tasty : true }, 
{ name : "burgers™" } 


} 
db.countries.insert(t{ 


dS TOA 
name : "Canada", 
exports : { 


foods < | 
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{ name : "bacon", tasty : false }, 


{ name : "syrup", tasty : true } 


} 
db.countries.insert({ 


Ta My 
name : "Mexico", 
exports : { 
foods : [{ 
name : "salsa", 


tasty : true, 
condiment : true 


}] 


} 














为 了 验证 加 入 的 国家 ， 可 以 执行 count 函数 ， 预 期 的 结果 是 3。 








> print( db.countries.count() ) 
3 
































找 出 一 个 国家 ， 它 不 但 出 口 培 根 (bacon)， 而 且 培 根 的 味道 不 错 。 

















db.countries.findl( 
{ "exports.foods.name' : 'bacon', ‘exports.foods.tasty' : true }, 


{ _id : 0, name : 1 } 


{ "name™" : "Unitea States" } 


{ "name" : "Canada" } 

















但 这 不 是 我 们 想 要 的 。Mongo 返回 了 加 拿 大 (Canada)， 因 为 它 出 口 培根 和 味道 不 错 


的 糖浆 (syrup)。 这 里 $elemMatch 就 能 帮 上 忙 。 它 规定 如 果 文 档 ( 或 嵌 套 的 文档 ) 满足 
所 有 的 条 件 ， 该 文档 就 匹配 成 功 。 



























































db.countries.findl( 
{ 
'exports.foods' : { 
SelemMatch : { 
name : 'bacon', 
tasty : true 


{ _id : 0, name : 1 } 
) 
{ "name™" :; "Unitea States" } 
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$elemMatch 条 件 也 可 以 利用 高 级 操作 符 。 可 以 找 日 

















品 ， 并 且 有 调味 品 〈condiment) 的 标签 。 









































es 





一 个 国家 ， 它 出 口味 道 不 错 的 食 




















db.countries.findl( 
( 
'exports.foods' : { 
SelemMatch : { 
总 US 
condiment : { Sexists : true } 


{ "name™" : "Mexico" } 





el 
TAN 








{如 (Mexico) 正 是 我 们 想 要 的 。 
2. 布尔 操作 符 


~ 
时 




















到 目前 为 止 ， 所 有 的 条 件 都 是 隐 含 的 “与 ”操作 。 如 果 试 图 寻找 一 个 国家 ， 它 的 name 
是 United States， 并 日 id 是 mx，Mongo 会 找 不 到 结果 。 


























db.countries.findl( 
id ss Smx"y name » "United -States™ 于 7 
2 








但 是 ， 利 用 $or 来 查找 一 个 或 男 一 个 条 件 ， 将 返 





法 : OR A B。 








加 两 条 结果 。 这 种 格式 就 像 前 绥 旭 





让 


4l 








db.countries.findl( 


a 
{ name : "United States" } 
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操作 符 很 多 ， 这 里 不 能 介绍 ， 但 我 们 希望 这 已 经 让 你 感受 到 MongoDB 的 强大 
































只 




































































































































































询 能 力 。 下 面 并 非 全 部 命令 的 列表 ， 但 包含 了 很 大 一 部 分 。 
命 令 描 述 
$regex 用 任意 兼容 PCRE 的 正则 表达 式 字符 串 匹 配 《〈 或 就 用 前 面 提 到 的 “/” 分 隔 符 ) 
$ne 不 等 于 
$1t 小 于 
$lte 小 于 等 
$gt 大 于 
$gte 大 于 等 
$exists 检查 字段 存在 
$all 匹配 数组 中 的 所 有 元 素 
$in 匹配 数组 中 的 任 一 元 素 
$nin 不 匹配 数组 中 的 任 一 元 素 
$elemMatch ”| 匹配 数组 或 嵌 套 文档 中 的 所 有 字段 
$or 或 
$nour 异 或 
$size 匹配 给 定 大 小 的 数组 
$mod 取 余 
$type 匹配 的 定数 据 类 型 的 字段 
$not 对 给 定 操 作 符 检查 取 反 


可 以 在 MongoDB 的 在 线 文 档 上 找到 所 有 的 命令 , 或 从 Mongo 的 网 站 上 















































表 。 在 接 下 来 的 儿 天 里 ， 我 们 还 会 再 次 用 到 查询 。 














5.2.4 更 新 














EF 下 载 一 份 备 访 





我 们 有 一 个 问题 .New York 和 Punxsutawney 是 够 独特 的 ,但 添加 了 Oregon 的 Portland， 
或 Maine 的 Portland (或 Texas 或 其 他 ) 了 吗 ? 更 新 城镇 集合 ， 添 加 美国 的 一 些 州 。 


SA 操作 ) 函数 需要 两 个 参数 。 第 一 个 参数 是 条 件 查 询 , 与 传递 给 find () 





























的 对 象 一 样 。 第 二 个 参数 要 么 是 一 个 对 象 ( 它 的 字段 将 取代 匹配 的 文档 ), 要 么 








= 


么 是 一 个 修 已 
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操作 。 在 这 个 例子 中 ， 修 改 操作 将 state 字段 设置 为 字符 串 OR。 





db.towns.updatel 
{ _id : ObjectIid("4d0ada87bb30773266f39fe5") jj 
{ $set : { "state™" : "OR" } } 

); 








你 可 能 会 想 ， 为 什么 需要 $set 操作 呢 ? Mongo 不 是 从 属性 的 角度 来 思考 问题 的 ， 它 
只 在 内 部 隐 含 地 理解 属性 ， 这 是 为 了 优化 。 但 接口 完全 不 是 面向 属性 的 。Mongo 是 面向 文 
档 的 。 你 很 少 需要 这 样 〈 请 注意 没有 $set 操作 ): 





















































qb .towns .upadate ( 
{ _id : ObjectId("4d0ada87bb30773266f39fe5") }， 
{ state : "OR™ } 





); 





























这 会 将 整个 匹配 的 文档 替换 成 你 提供 的 文档 〈{ state : "OR" })。 既 然 你 没有 给 
Hg$set 这 样 的 命令 ，Mongo 就 认为 你 想 整 个 换 掉 ， 所 以 要 注意 。 


可 以 通过 查找 来 验证 更 新 成 功 〈 请 注意 ， 使 用 findone () 仅 取出 一 个 匹配 对 象 )。 





ed 
































db.towns.findone({ _id : ObjectId("4d0ada87bb30773266f39fe5") }) 


"_id" : ObjectId("4q0ada87bb30773266f39fe5"), 
famots: EQr™ 2 [| 
"beer", 
"food™ 
], 
"last census™" : "Thu Sep 20 2007 00:00:00 GMT-0700 (PDT)™, 
vmavor™ :3 4 
"name™" : "Sam Adams", 
sat. ,i 
}, 
"name™" : "Portland", 
"population™ : 582000, 
Tstater. "OR™ 





可 以 做 的 不 止 是 $set 一 个 值 。$inc( 追 加 一 个 数 ) 也 是 很 有 用 的 操作 。 我 们 让 Portland 
的 人 口 增 加 1000。 








db.towns.updatel 
{ _id : ObjectId("4d0ada87bb30773266f39fe5") 1}, 
{Sine.: { population.:. L000}- 填 
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此 外 还 有 许多 指令 ， 如 针对 数组 的 $ positional 操作 符 。 常 常会 增加 新 的 操作 符 ， 在 线 
文档 中 会 更 新 。 下 面 是 主要 的 指令 : 








































































































$set 将 指定 字段 设置 为 指定 值 
$unset 移 除 该 字段 
$inc 将 指定 字段 增加 指定 数值 
$pop 从 数组 中 移 除 最 后 (或 第 一 个 ) 元 素 
$push 在 数组 中 添加 一 个 值 
$pushAll 在 数组 中 添加 所 有 值 
$addToSet 类 似 push， 但 不 复制 值 
$pull 从 数组 中 移 除 匹配 的 值 
$pullAll 从 数组 中 移 除 所 有 匹配 的 值 














5.2.5 引用 


























前 面 曾 提 到 ，Mongo 不 是 为 了 执行 联接 (join) 而 设计 的 。 由 于 它 的 分 布 式 特点 ， 连 
接 是 非常 低 效 的 操作 。 但 是 ， 有 时 候 文 档 相 互 引用 仍然 有 用 。 在 这 种 情况 下 ，Mongo 开发 
团队 建议 使 用 { Sref : "collection name"，S$id : "reference _ id" } 这 样 的 
结构 。 例 如 ， 可 以 更 新 towns 集合 ， 让 它 引 用 countries 中 的 文档 。 




























































































qb .towns .upaate ( 
{ _id : ObjectIid("4d0ada87bb30773266f39fe5") }， 
{Set : ,{. Country:. {Srefs "countries", Sid: "vs  }> } 





现在 可 以 从 towns 集合 中 取出 Portland。 








Var portland = db.towns.findone({ _id : ObjectId("4d0ada87bb30773266f39fe5") }) 








然后 ， 要 取出 这 个 城镇 的 国家 ， 可 以 用 保存 的 Sid 来 查询 countries 集合 。 














db.countries.findOone({ _id: portland.country.$id }) 
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更 好 的 是 ， 在 JavaScript 中 ， 可 以 通过 引用 字段 取得 town 文档 的 集合 名 称 。 





db[ portland.country.Sref ] .findqdone({ _id: portland.country.$id }) 








后 面 两 个 查询 是 等 价 的 ， 第 二 种 更 倾向 数据 驱动 。 


5.2.6 ”删除 

























































































从 集合 中 删除 文档 很 简单 。 只 要 用 remove () 来 代替 find 函数 ， 所 有 匹配 条 件 的 文档 
都 会 删除 。 要 注意 ， 整 个 匹配 的 文档 都 会 删除 ， 而 不 只 是 匹配 的 元 素 或 匹配 的 子 文 档 ， 这 
一 点 很 重要 。 

拼 字 游戏 警告 


对 于 拼写 错误 来 说 ，Mongo 不 能 很 友好 地 处 理 。 如 果 你 还 没 遇 到 这 个 问题 ， 可 能 将 来 
会 遇 到 ， 所 以 要 当心 。 可 以 比较 静态 和 动态 编程 语言 。 在 静态 语言 中 先 定 义 ， 而 动态 
语言 将 接受 本 来 不 希望 的 值 ， 其 至 是 无 意思 的 类 型 ， 如 person name=5。 
文档 是 没有 模式 的 ， 所 以 Mongo 没 法 知道 你 是 否 希 望 在 城市 中 插入 population， 还 是 
想 对 lust census 查询 。 它 会 很 开心 地 插入 这 样 的 字段 ， 或 告诉 你 没有 匹配 的 结果 。 


灵活 性 是 有 代价 的 。 买 者 自 慎 之 。 











在 执行 remove () 之 前 ， 推 荐 使 用 find () 来 验证 条 件 。 在 执行 操作 时 ，Mongo 不 会 






































三 思 而 后 行 。 删 除 所 有 出 口味 道 一 般 的 培根 的 国家 。 





var bad bacon = { 
'exports.foods' : { 
SelemMatch : { 
name : "bacon'yv 


tasty : false 


} 
db.countries.find( bad bacon ) 


"id" : ObjectId("4qd0b7b84bb30773266f39fef"), 
"name™" : "Canaaa"/ 
"exports™ : { 

“foods™ 3 


{ 
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"name™ :; "bacon"™, 
"tasty” : false 
} 
{ 
"name™ $ "Syrup™y 
"tasty™” : true 














所 有 事情 看 起 来 都 不 错 。 执 行 删除 。 








db.countries.remove( bad bacon ) 
db.countries.count() 
2 








现在 执行 count () ， 就 只 剩 下 两 个 国家 了 。 如 果 是 这 样 ， 删 除 就 成 功 了 ! 





5.2.7 用 代码 来 读 取 


让 我 们 用 一 个 更 有 趣 的 查询 选项 来 结束 今天 的 内 容 : 代码 。 可 以 要 求 MongoDB 
对 文档 执行 一 个 判断 函数 。 将 它 放 在 最 后 是 因为 ， 它 应 该 是 最 后 才 想 到 的 手段 。 这 些 
查询 执行 得 很 慢 ， 不 能 利用 索引 ，Mongo 不 能 优化 它们 。 但 有 时 候 很 难 拒绝 定制 代码 
的 力量 。 


假定 要 寻找 人 口 在 6000 一 600 000 的 城市 










































































o 








db.towns.find( function() { 





return this.population > 6000 && this.population < 600000; 
上 

















Mongo 甚至 为 简单 的 判断 函数 所 供 了 捷径 。 





db.towns.find("this.population > 6000 && this.population < 600000") 














可 以 用 $where 子 句 来 执行 定制 代码 的 判断 条 件 。 在 这 个 例子 里 ， 查 询 还 过 滤 出 以 
groundhog 闻名 的 城镇 。 











qb .towns .findq( { 
S$where : "this.population > 6000 && this.population < 600000", 


famous for : /groundhog/ 


js 
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注意 :Mongo 将 对 每 个 文档 以 列 力 方式 执行 这 个 函数 ， 而 我 们 不 能 保证 给 定 的 字段 存 
































在 。 例 如 ， 如 果 假 定 population 字段 存在 ， 即 使 某 一 个 文档 中 没有 population， 整 个 查询 都 
会 失败 ， 因 为 JavaScript 不 能 够 正确 地 执行 。 写 定制 的 JavaScript 函数 时 要 当心 ， 在 尝试 定 


























制 代码 时 要 先 熟 悉 JavaScript 的 使 用 。 





5.2.8 第 1 天 总 结 





今天 ， 我 们 接触 了 我 们 的 第 一 个 文档 数据 库 ，MongoDB。 我 们 看 到 如 何 将 骨 套 的 数据 











另存 为 JSON 对 象 ， 并 碍 询 任何 深度 的 数据 。 你 知道 ， 文 档 数 据 库 可 以 看 成 是 关系 模型 ， 






































的 一 行 数据 ， 但 没有 模式 ， 以 生成 的 _id 为 主键 。 在 Mongo 中 ， 一 组 文档 称 为 一 个 集合 ， 











类 似 于 PostgreSQL 中 的 表 。 





我 们 以 前 遇 到 的 方式 是 存储 一 些 简 单数 据 类 型 的 集合 , Mongo 与 此 不 同 , 保存 复杂 的 、 




















非 标准 化 的 文档 ， 存 取 任 意 JSON 结构 的 集合 。Mongo 在 这 种 灵活 的 存储 策略 上 提供 了 强 
大 的 查询 机 制 ， 这 是 任何 预定 义 的 模式 都 不 能 提供 的 。 


由 于 非 标 准 化 的 特点 ， 文 档 存储 很 适合 存放 品质 未 知 的 数据 ， 而 其 他 的 方式 〈 如 关系 





























型 和 列 型 ) 希望 你 事先 知道 ， 添 加 或 修改 字段 时 需要 改变 模式 。 











第 1 天 作业 
求索 
1. 将 MongoDB 的 在 线 文档 加 入 











忆 签 


Wo 








2. 查看 如 何在 Mongo 中 创建 正则 表达 式 。 








3， 熟悉 命令 行 qb.help() 和 db.collections .help() 的 输出 。 





4. 找到 你 使 用 的 语言 (Ruby、Java、PHP 等 ) 的 Mongo 驱动 程序 。 


1. 输出 一 份 JSON 文档 ， 它 包含 { "hello" : 


2. 利用 不 区 分 大 小 写 的 正则 表达 式 ， 找 出 包 




















"world™ 汗 二 














3. 找到 所 有 名 称 中 包含 字母 6， 

















4. 创建 一 个 名 为 blogger 的 新 数 ] 





据 库 ， 其 中 


n> 


六 
包 








单词 new 的 城镇 。 








并 且 以 food 或 beer 闻名 的 城镇 。 


含 一 个 名 为 articles 的 集合 ， 插 入 一 篇 
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新 文章 ， 包 含 作 者 名 称 、email、 创 建 日 期 和 文字 内 容 。 
5. 更 新 这 篇 文章 ， 加 入 一 个 评论 数组 ， 评 论 包 含 作者 和 文字 内 容 。 
6. 执行 外 部 JavaScript 文件 中 包含 的 查询 。 
































5.3 第 2 天: 索引、 分 组 和 mapreduce 


提高 MongoDB 的 查询 性 能 是 今天 的 第 一 项 学 习 内 容 ， 接 下 来 是 一 些 更 强大 、 更 复杂 
的 分 组 查询 。 最 后 ， 利 用 mapreduce 来 进行 一 些 分 析 ， 像 我 们 在 Riak 中 做 的 那样 ， 从 而 完 
成 今天 的 学 习 。 



























































5.3.1 索引 : 如 果 还 不 够 快 























Mongo 有 一 个 有 用 的 内 置 特征 ， 就 是 用 索引 来 增加 查询 的 速度 ， 我 们 知道 ， 不 是 
所 有 NoSQL 数据 库 都 有 这 个 特征 。MongoDB 采用 了 一 些 最 好 的 数据 结构 实现 索引 ， 
如 经 典 的 B 树 , 以 及 其 他 一 些 附加 方法 , 如 两 维和 球形 地 理 空间 (shperical GeoSpatial) 
索引 。 


接 下 来 要 做 一 个 小 实验 ， 看 看 MongoDB 的 B 树 索 引 的 力量 。 将 加 入 一 些 电 话 号 码 ， 
它们 的 国家 码 是 随机 选取 的 〈 可 以 自由 地 用 自己 的 国家 码 来 奉 换 )。 在 控制 台 输 入 下 面 的 代 
码 。 它 将 生成 100 000 个 电话 号 码 ( 可 能 要 一 点 时 间 )， 范 围 介 于 1-800-555-0000 到 
1-800-565-9999。 
































































































































mongo/populate phones.js 
populatePhones = function(area,start,stop) { 
for(var i=start; i < stop; i++) { 
var country = 1 + ((Math.random() * 8) << 0); 
Var num = (country * lel0) + (area * le7) + i; 
db .phones .insert ({ 
Ee hi 
components: { 
CoUNtry:. COUunLtrYyy 
area: area, 
prefix: (i * le-4) << 0, 
number: i 
}, 
display. "+ ,COUNtTy tTed: 不 让’ 守 
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} 
执行 这 个 函数 , 参数 是 3 位 的 地 区 码 (如 800), 以 及 一 个 7 位 的 号 码 范 围 (5 550 000~ 
5 650 000， 输 入 时 请 检查 0 的 个 数 )。 
populatePhones( 800, 5550000, 5650000 
db.phones.find() .1imit (2) 
{' MEd L8005550000: "tomponente  : (country" < 1, area™ 2 800. 
"prefix" 00D "Numer 559550000, 7 "display™ 3 "HI 800-955950000™ 中 
td A B80055500017,. "eompornente 二 { "eountry"™ * Br "area™ :800, 
"prefdix" DOD "Mumber® .: B90000L 7 /TdTSp Lay 3 F8800=95595000LTe} 
在 创建 任何 一 个 新 集合 时 ，Mongo 会 自动 在 id 上 建立 索引 。 这 些 索 引 可 以 在 
system.indexes ee 下 面 的 查询 展示 了 数据 库 中 所 有 的 索引 : 





db.system.indexes.find() 


{Mame :VIC Me Vbook phonesT “key, .3 :tC. J Ld 1 浊 





一 点 ， 先 在 没有 索引 时 执行 一 个 查询 。expPlain () 方 法 用 于 输出 给 定 操作 的 细节 








涉及 _idq， 所 以 需要 在 这 些 字段 上 建立 索引 。 


但 首先 ， 验 证 索引 将 改善 速度 。 要 做 到 这 
= 


因为 大 多 数 查 询 不 只 
将 在 display 字段 上 创建 一 个 B 树 索引 。 
























































db.phones.find({display: "+1 800-5650001"}) .explain () 


{ 

: "BasicCursor™, 
"nscanned™" : 109999， 
"nscannedObjects™ : 
1, 

"nL 2 
"indexBounds™" : { 


} 


WE os dS E sg 


L099.99: 


nmn 。 
n bs 





位 数 。 








输出 


会 与 我 们 的 不 一 样 ， 但 请 注意 millis 字段 (完成 查询 的 毫秒 数 )， 它 可 





己 











在 集合 上 创建 索引 。 参 数 fields 














通过 调用 


nsureIndex (fields,options) 
































是 一 个 对 象 ， 














含 要 建 索 引 的 那些 字段 。 
建立 唯一 








例子 里 ， 将 在 display 


它 将 丢弃 重复 的 条 目 。 











索引 ， 











参数 options 描述 了 要 建 的 索引 类 型 。 在 这 个 











{dksplay.: 


db.phones.ensureIndex( 
Ls 
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{ unique : true, dropDups : true } 














现在 重 试 find() ， 检 查 explain ()， 看 看 情况 是 否 改善 。 











db.phones.find({ display: "+1 800-5650001" }) .explain() 


“cursor™ : "BtreeCursor display_1", 
"nesecanned 二 M1; 
"nscannedObjects™" : 1, 
2 
Wm le 0; 
"indexBounds™ : { 
"display -:. 
[ 
VE B00=5650007"; 
"+ 了 800-5650001"™ 














millis 的 值 从 52 降 到 了 0， 改 进 是 无 穷 大 〈$2/0)! 这 是 开玩笑 ， 但 速度 的 提高 幅度 是 
数量 级 式 的 。 同 时 也 注意 ，cursor (光标 从 Basic 变 为 了 B 树 〈 称 为 光标 是 因为 它 指向 存放 


的 值 ， 它 不 包含 这 些 值 )。Mongo 不 再 扫描 整个 集合 ， 而 是 通过 查找 树 来 取得 值 。 重 要 的 
是 ， 扫 描 的 对 象 从 109 999 降 到 了 1， 因 为 它 变 成 了 在 唯一 索引 上 的 查找 。 


explain() 是 一 个 有 用 的 函数 , 但 只 在 测试 特定 的 查询 调用 时 才 会 用 它 。 如果 需要 在 
普通 的 测试 或 生产 环境 中 进行 分 析 ， 就 需要 系统 剖析 器 (System Profiler )。 

将 剖析 级 别 设置 为 2 级 别 2 将 保存 所 有 的 查询 ， 级 别 1 只 保存 超过 100 毫秒 的 、 比 
较 慢 的 查询 )， 然 后 像 往常 一 样 运动 fira ()。 


























































































































































































































db.setProfilingLevel (2) 
db.phones.find({ display : "+1 800-5650001"™" }) 


























这 将 在 system.profile 集合 中 创建 一 个 新 对 象 ， 可 以 像 读 其 他 表 一 样 读 取 它 。ts 是 执行 
查询 时 的 时 间 戳 ，info 是 操作 的 字符 串 描述 ，millis 是 它 所 花 的 时 长 。 



































db.system.profile.find() 


{ 
ts LSODate("2Z0LL -12 05T19260540 5 .3102")> 
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Vop™ 2 "guery", 

"ns™" :; "book.phones", 

queryY “tt. "displayyY 3 V+1. :800=55.650007"™ 7 
"responseLength™" : 146, 

wi Lie 0 

"eliTent ys WI27:05 .0.1 

"user™ ; "" 











像 昨 天 的 骨 套 查询 一 样 ，Mongo 可 以 在 退 套 的 值 上 建立 索引 。 女 
区 码 上 建立 索引 ， 使 用 带 点 的 字段 表示 法 : components .area。 和 有 





由 











是 使 用 { background : 1 } 选 项 ， 在 后 台 建 立 索 引 。 














1 果 你 希望 在 所 有 的 地 














E 产 品 环境 中 ， 应 该 总 





db .phones .ensureIndex ({ "components.area": 1 }, 


{ background : 1 


} 




















如 果 利 用 fing () 发 现 所 有 的 phones 集合 上 的 系统 索引 ， 


























一 个 索引 总 是 自动 创建 的 ， 以 便 按 _id 快速 查询 ， 第 二 个 是 前 面 建立 的 唯一 索引 。 





新 的 应 该 出 现在 最 后 。 第 





























db.system.indexes.find({ "ns"” : "book.phones" }) 
{ 

"name" : ie 

"ns™" :; "book.phones", 


让 


"id" : ObjectId("4a2c96al1af18c2494fa3061c" )， 
"ns"” : "book.phones", 

key™ Eo { TdLSpLAYY Ly 

"name" : "display_1", 

"unidue" : true, 


"droPDups" : true 


"_id" : ObjectIdq("4aq2c982paf718c2494fa3061a" ) ， 


"ns"” : "book.phones", 
"key"”: { "components .area"”: 1 }, 
"name"” : "components.area 1" 





在 book.phones 上 的 索引 漂亮 地 完成 了 。 














在 本 节 结 束 时 ， 我 们 应 该 注意 ， 在 大 型 的 集合 上 创建 索引 可 能 较 慢 ， 并 且 占 用 较 多 的 
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资源 。 在 建立 索引 时 ， 总 是 应 该 考虑 这 些 冲击 ， 不 要 在 高 峰 时 间 进 行 ， 要 在 后 台 进 行 ， 要 
手动 进行 ， 而 不 是 自动 创建 索引 。 网 上 还 有 更 多 索引 技巧 ， 但 这 些 是 一 些 基 本 技巧 ， 最 好 
知道 。 




















5.3.2 ”聚合 查询 












































昨天 研究 的 查询 ,对 于 基本 的 数据 抽取 是 有 用 的 , 但 后 面 的 处 理 需 要 你 来 解决 。 例 如 ， 
假定 我 们 想 统计 大 于 559-9999 的 电话 号 码 个 数 ， 我 们 希望 数据 库 在 后 面 执行 这 样 的 计数 。 
像 PostgreSQL 一 样 ，count () 是 最 基本 的 聚合 器 。 它 进行 查询 ， 并 返回 匹配 文档 的 个 数 。 













































































qdqb .phones .count ({'components .number': { S$gt : 5599999 } }) 


50000 





改变 是 好 的 
聚合 查询 返回 的 结构 与 我 们 习惯 的 单个 文档 不 同 。count () 将 结果 聚合 成 文档 的 计 
数 ，distinct() 将 结果 聚合 成 一 个 数组 ，group () 返回 的 文档 是 用 它 自己 的 设计 。 
即使 是 mapreduce， 通 常 也 要 花 一 些 努力 ， 取 出 类 似 于 内 部 存储 文档 的 对 象 。 
为 了 体现 接 下 来 几 个 聚合 查询 的 威力 , 再 向 phones 集合 中 添加 100 000 个 电话 号 码 ， 
这 次 使 用 另 一 个 地 区 码 。 














populatePhones( 855, 5550000, 5650000 























如 果 多 个 文档 匹配 条 件 ，gistinct () 命令 返回 每 个 匹配 的 值 (不 是 整个 文档 )。 可 以 
像 下 面 这 样 取得 小 于 5550 005 的 不 同 components .number: 




















db.phones.distinct('components.number', {'components.number': { $lt : 5550005 } }) 


[ 5550000,5550001,5550002,5550003,5550004 ] 














虽然 有 两 个 5550 005〔 一 个 地 区 码 是 800， 另 一 个 是 855)， 但 在 结果 中 只 出 现 一 次 。 

















group () 聚合 查询 类 似 SQL 中 的 GROUP BY。 它 也 是 Mongo 中 最 复杂 的 基本 查询 。 
可 以 对 大 于 5599999 的 电话 号 码 计 数 ， 并 且 按 地 区 人 码 将 结果 放 入 不 同 的 分 组 。 其 中 key 是 
按 其 分 组 的 字段 ，cond 条件) 是 我 们 感 兴趣 的 值 的 范围 ，reduce 是 一 个 函数 ， 管 理 如 
何 输出 值 。 






























































还 记得 第 3 草 中 的 mapreduce 吗 ? 数据 已 经 映射 到 原 有 的 文档 集合 ,不 再 需要 映射 了 ， 
只 要 对 文档 进行 归 约 。 
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.3 第 : 、 分 组 和 mapreduce 





db.phones.group ({ 


二 作 计 蕊 于 窑 宙 训话 2 平 
reduce: function (phone, output) { output.count++; }, 
cond: { 'components.number': { S$gt : 5599999 } }, 
key: { 'components.area' : true } 
} 
[ { "componentsy area":"800" : "Leunt": 50000, "lomponents,area": "855" : "count": 50000 } |] 












































































































































































































































诚然 ， 接 下 来 的 两 个 例子 是 奇怪 的 使 用 场景 。 它 们 只 是 用 来 展示 group () 的 灵活 性 。 
可 以 用 下 面 的 group () 调用 来 重 现 count () 函数 的 结果 。 这 里 省 去 了 聚合 
qdb .phones .group ({ 
TEL t: ‘COUuntsO n> 
reduce: function(phone, output) { output.count++; }, 
cond: { 'components.number': { S$gt : 5599999 } } 
} 
bt unEe™ :T00000. 3 
这 里 首先 建立 一 个 初始 对 象 ， 它 包含 一 个 count 字段 ， 初 值 是 0 (这 里 创建 的 字段 将 
出 现在 输出 中 )。 接 下 来 描述 对 这 个 字段 做 什么 , 即 声 明 一 个 归 约 函数 ， a 
让 计数 加 1。 最 后 ， 给 出 了 一 个 分 组 条 件 ， 限 制 哪些 文档 需要 归 约 。 结 果 与 count () 
样 的 ， 因 为 条 件 是 一 样 的 。 这 里 省 去 了 键 ， 因 为 希望 所 有 匹配 的 文档 都 加 入 结果 集 。 
也 可 以 重 现 distinct() 函数 。 出 于 性 能 的 考虑 ， 先 创建 一 个 对 象 ， 将 一 些 数字 作 另 
存 为 字段 (实际 上 创建 了 一 个 自由 定义 的 集合 )。 在 规约 函数 中 ( 它 针 对 每 个 匹配 的 文档 执 
行 )， 将 值 设置 为 1， 作为 占 位 符 《〈 它 是 我 们 想 要 的 字段 )。 
从 技术 上 这 就 是 所 需要 的 。 但 是 ， 如 果 我 们 真 想 重 现 distinct () ， 就 应 该 返回 一 个 
整数 数组 。 所 以 添加 了 一 个 finalize (out) 方 法 ， 它 在 返回 值 之 前 的 最 后 一 刻 执行 ， 将 























对 象 转换 成 一 个 字段 值 数 组 。 这 个 函数 接着 将 这 些 字符 串 转 换 成 整数 如果 你 希望 看 到 事 





情 完成 的 过 程 ， 可 以 去 掉 finali 


Wh 函数 集 ， 





执行 下 面 


的 命令 )。 








qb .phones .group ({ 





initial: { prefixes : { 


reduce: 


output .prefixes [phone.components .prefix] 


上 


finalize: function (out) 


[1; 


VaL ary 


{ 


}, 


function (phone, output) { 


1; 
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Eor (var p in out.prefixes) { ary.push( parseInt( p ) ); } 
out.prefixes = ary; 
} 
}) [0] .prefixes 


[ 555,556,557,558,559,560,561,562,563,564 ] 








group () 函数 很 强大 〈 像 SQL 的 GROUP BY 一 样 )， 但 Mongo 的 实现 也 有 不 利 的 一 
面 。 首 先 ， 结 果 不 能 超过 10 000 个 文档 。 而 且 ， 如 果 你 对 Mongo 集合 进行 了 分 片 〈 明 天 
将 讨论 )，group () 就 无 效 了 。 还 有 很 多 灵活 的 方式 来 创建 查询 。 出 于 这 样 或 那样 的 原因 
稍 后 将 深入 MongoDB 的 mapreduce 实现 。 但 首先 ， 我 们 将 弄 清 楚 客 户 端 命 令 和 服务 器 端 
命令 的 区 别 ， 它 对 应 用 有 重要 影响 。 























~ 











































































































如 果 试 图 通过 命令 行 执 行 下 面 的 函数 (或 通过 驱动 程序 ), 客户 端 会 将 电话 文档 逐个 取 
到 本 地 《所 有 100 000 个 )， 然 后 再 将 每 个 电话 文档 逐个 保存 到 服务 器 上 。 










































































mongo/update area.js 
update area = function() { 
db.phones.find() .forEach 人 
Eunction (Phone) { 
phone.components.areatt+; 
phone.display = "+"+ 
Phone .components .CountLY+" "+ 
Phone .Components .area+" 一 "十 
phone.components.number; 


db.phones.update({ _id : phone. id }, phone, false); 











但 是 ，Mongo 的 db 对 象 提供 了 一 个 名 为 eval () 的 命令 ， 它 将 指定 的 函数 传 给 服务 
器 。 这 极 大 地 减少 了 客户 端 与 服务 器 之 间 的 对 话 ， 因 为 代码 是 在 远 端 执行 的 。 











> db.eval (update area) 














除了 执行 JavaScript 函数 ，Mongo 中 还 有 几 个 预 设 的 命令 ， 其 中 大 部 分 是 在 服务 器 端 
执行 的 ， 虽 然 有 些 要 求 只 能 在 admin 数据 库 上 执行 〈 可 以 通过 use aqmin 来 访问 )。 
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> use admin 


> db.runCommand ("top") 











top 命令 将 输出 服务 器 上 所 有 


D> 








合 的 访问 细节 。 














人 


汶 

















> use book 


> db.listCommands () 








在 执行 1istcommands () 时 ， 你 可 能 会 注意 到 我 们 用 过 的 许多 命令 。 实 际 上 ， 可 以 
通过 runCommand () 方法 执行 许多 常见 命令 ， 如 统计 电话 的 个 数 。 但 是 ， 你 可 能 会 注意 到 
输出 有 一 点 区 别 。 
































> db.runCommand({ "count" : "phones" }) 


"nm ; 100000, "ok" : 1 } 























返回 的 个 数 n 是 正确 的 (100 000)， 但 格式 是 一 个 对 象 ， 包 含 ok 字段 。 这 是 因为 
db .phones .count () 是 一 个 封装 函数 , 为 了 方便 , 通过 shell 的 JavaScript 接口 来 创建 的 ， 
而 runCommand () 是 在 服务 器 上 执行 计数 。 我 们 曾 提 到 过 ， 可 以 不 带 圆 括号 调用 ， 查 看 像 
count () 这 样 的 函数 是 如 何 工 作 的 。 

































































> db.phones.count 
function (x) { 


return this.find(x) .count () ; 





























有 趣 ! collection.count() 只 是 一 种 方便 的 封装 ， 实 际 上 先 调用 find()( 它 本 
身 又 是 一 层 封 装 ， 实 际 上 是 一 个 本 地 查询 对 象 ， 返 回 指向 结果 集 的 光标 )， 再 对 fing () 
的 结果 调用 count () 






























































> db.phones.find() .count 














你 会 看 到 一 个 大 得 多 的 函数 (大 到 不 方便 在 这 里 列 出 )。 但 请 看 一 下 ,在 一 些 设置 代码 
之 后 ， 你 会 看 到 下 面 这 样 的 代码 : 
































Var res = this. db.runCommand (cmd); 
if (res && res.n != null) { 


return res.n; 





有 趣 加倍 了 ! count () 执行 了 runCcommand()， 并 返回 字段 n 的 值 。 
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1. runCommand 


























在 深入 研究 方法 的 工作 原理 时 ， 让 我 们 来 看 看 runCommand () 函数 。 














> db.runCommand 


Eunction (obj) { 


if (typeof ob]j == "string") { 
var n= {}; 
n[obj] = 1; 
obj = n; 


} 
return this.getCollection("$cmd") .findOne (obj); 





结果 表明 ，runCommand () 也 是 一 个 辅助 函数 ， 封 装 了 一 个 调用 ， 


$cmd 的 





























集合 。 可 以 直接 对 这 个 集合 调用 ， 从 而 执行 任何 方法 。 



































该 调用 针对 名 为 














> db.$cmd.findone({'count' : 'phones'}) 
Pimms EO0000F TOK 3 




















这 就 是 最 底层 的 机 制 了 ， 也 是 驱动 程序 与 Mongo 服务 器 通信 的 一 般 方式 。 
2， 偏 开 话 题 
这 里 命 开 话题 有 两 个 理 






























































彻底 说 清楚 mongo 控制 台 上 执行 的 大 多 数 命令 ， 实 际 上 是 在 服务 器 上 执行 的 ， 而 

















不 是 在 客户 端 上 执行 。 客 户 端 具 是 提供 了 一 些 方便 的 封装 函数 。 














可 以 利用 执行 服务 器 端 代码 的 概念 ， 实 现 我 们 自己 的 一 些 目的 , 在 MongoDB 中 创 














建 类 似 PostgreSQL 中 存储 过 程 的 对 象 。 














任何 JavaScript 函数 都 可 以 保存 在 一 个 名 为 system.js 的 特殊 集合 中 。 这 是 一 个 普 


通 集合 


人口» 








可 以 将 函数 名 作为 _ id， 函数 体 作为 value。 





> db.system.js.savel({ 


}) 


_id:'getLast"', 
value:function (collection){ 


return collection.find({}).sort({' id':1}).1imit(1)[0] 





接 下 来 ， 通 常会 直接 在 服务 器 上 执行 它 。eval () 函数 将 这 个 字符 上 



































传 给 服务 器 ， 将 
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它 作 为 JavaScript 代码 来 执行 ， 并 返回 结 


i 
酒 
o 








> db.eval('getLast (db.phones)') 








它 返 回 的 值 应 该 与 在 本 地 调用 getLast (collection) 一 样 。 























> db.system.js.findone({' id': 'getLast'}) .value (db.phones) 






































值得 一 提 的 是 ， eval () 在 执行 时 会 阻塞 mongod, 所 以 它 主 要 适用 于 快速 执行 的 命令 
和 测试 ， 而 不 是 常见 的 产品 过 程 。 也 可 以 在 Swhere 和 mapreduce 中 使 用 这 个 函数 。 武 器 
库 还 有 最 后 一 样 武 器 ， 即 在 MongoDB 中 开始 执行 mapreduce。 
































5.3.4 mapreduce (以 及 Finalize) 








Mongo 的 mapreduce 方式 与 Riak 的 类 似 ， 有 一 些小 区 别 。 不 是 由 map0O 函 数 返 回转 换 
过 的 值 ， 而 是 要 求 映 射 函 数 (mapper) 用 一 个 主键 去 调用 emit () 函数 。 这 样 做 的 好 处 在 
于 ， 可 以 让 每 个 文档 发 出 不 止 一 次 。reqduce () 函数 接受 单个 键 和 发 送 给 该 键 的 一 个 值 列 
表 。 最 后 Mongo 提供 了 可 选 的 第 3 步 ， 名 为 finalize () ， 它 在 规约 函数 (reducer) 执 
行 之 后 ， 对 每 个 映射 的 值 仅 执行 一 次 。 这 样 你 就 能 够 执行 最 终 的 计算 ， 或 完成 需要 的 请 理 
工作 。 


我 们 已 经 清楚 地 知道 了 mapreduce 的 基础 知识 ， 接 下 来 将 快速 越过 戏 水 池 ， 直 接 进入 
深水 区 。 生 成 一 份 报 表 ， 对 每 个 国家 中 包含 同样 数字 的 电话 号 人 码 进 行 计数 。 首 先 ， 要 保存 
个 辅助 函数 。 它 抽取 所 有 不 同 的 数字 ， 构 成 一 个 数组 〈 要 理解 整个 mapreduce， 并 不 需 
要 理解 这 个 辅助 函数 的 工作 原理 )。 





















































































































































































































































Ton /tLe Lin Chote 1: 
distinctDigits = function (phone){ 
var 
number = phone.components.number + '', 
seen = [], 
result 三 一 下 下 7 
i = number.length; 
while(i--) { 
seen[+number[i]] = 1; 
} 
for (i=0; i<10; i++) { 
if (seen[i]) I 


result[lresult.length] = i; 
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} 


return result; 
} 


db.system.js.save({_id: 'distinctDigits', value: distinctDigits}) 











在 mongo 命令 行 载 入 这 个 文件 。 如 果 该 文件 在 启动 mongo 的 同一 个 目录 下 ， 只 需 
文件 名 就 可 以 了 ; 否则 ， 需 要 完整 的 路 径 。 


中 














> Loadt(t"aistinet dgrto. IST ) 




















完成 之 后 , 可 以 做 一 个 快速 测试 (如 果 你 遇 到 麻烦 , 别 介意 添加 一 些 简 单 的 Print () 
函数 )。 











db.eval ("distinctDigits (db.phones.findone({ 'components.number' : 5551213 }))") 
[ 1,2,3,5 ] 











现在 ， 可 以 着 手 映 射 函 数 了 。 对 于 任何 mapreduce 函数 来 说 ， 决 定 哪些 字段 要 映射 是 
关键 ， 因 为 这 规定 了 返回 的 聚合 值 。 因 为 报表 负责 找 出 不 同 的 数字 ， 不 同 值 的 数组 是 一 个 
字段 。 但 由 于 需要 按 country( 国 家) 来 查询 ， 因 此 还 有 男 一 个 字段 。 将 这 两 个 值 作为 一 个 
复合 键 : {digits ® X, country 王 Y}. 


因为 目标 只 是 对 这 些 值 计 数 ， 所 以 发 出 值 1〈 每 个 文档 代表 了 要 计数 的 一 项 )。 规 约 函 
数 的 任务 是 将 所 有 这 些 1 加 在 一 起 。 




















































































































dl 








mongo/map_1.js 
map = function() { 
var digits = distinctDigits (this); 


emit({digits : digits, country : this.components.country}, {count : 1}); 


mongo/reduce 1.js 
reduce = function(key, values) { 
Var total = 0; 
for(var i=0; i<values.length; i++) { 
total += Values [II] .count; 
} 


return { count : total }; 


results = db.runCommand({ 


mapReduce: 'phones', 
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map: map, 
reduce: reduce, 
out: 'phones.report' 


}) 











因为 通过 out 参数 设置 了 集合 的 名 称 (out : 'phones .report')， 所 以 可 以 像 对 
其 他 集合 那样 查询 结果 。 它 是 一 个 物化 视图 (materialized view)， 可 以 在 查看 表 清 单 时 



























































看 到 。 

> db.phones.report.find({'_ id.country' : 8}) 

{ 
vids {vqdioits™ .ss Oy Li 2 BR A DE 6: a "OUntry oe |y 
val :ounte SL9 

} 

{ 
io 2 drits ms. [Or Tor BD Dy Veountey Ys}. 
vvaluer Si WoOuNntEy .374 

} 

{ 
Tore E VdrgiteY @ ,07.3 27 3h. SA 6 J VeduntryY 2 B+ 
"value™ : { "count™ : ‘48 } 

} 

{ 
Tio A digits® se [Or Ly 2 BD .67 TL yr MEOUNntrY YY C8 Py 
"value™ # { "Cournt™ :1 

} 

还 有 更 多 



































输入 it， 以 便 继 续 遍 历 结果 集 。 请 注意 ， 唯 一 发 出 的 键 在 _iq 字段 中 ,所 有 从 规约 函 
的 数据 在 字段 value 中 。 


如 果 你 希望 这 个 mapreduce 函数 只 输出 结果 ， 而 不 是 将 结果 放 到 一 个 集合 中 ， 可 以 将 
out 值 设 置 为 { inline : 1 }， 但 要 记 住 ， 输 出 的 结果 是 有 大 小 限制 的 。 对 于 Mongo 2.0 
来 说 ， 这 个 限制 是 16MB 。 


还 记得 在 第 3 章 中 ， 规 约 函 数 可 以 既 不 用 映射 的 〈 发 出 的 ) 结果 ， 也 不 用 其 他 规约 函 
数 的 结果 作为 输入 。 如 果 两 个 规约 函数 映射 到 相同 的 主键 上 ， 为 什么 一 个 规约 函数 的 输出 
要 作为 男 一 个 的 输入 ? 请 考虑 一 下 ， 如果 运行 在 不 同 的 服务 器 上 , 将 是 怎样 的 情形 。 图 5-3 
展示 了 这 种 情况 。 
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db.runCommand({mapReduce'...)) 


mongos 

















个 服务 器 上 调用 映射 和 规约 


uce () 图 数 , 然后 将 这 些 需要 合 


























需要 合并 的 结果 
4 输出 重 


图 5-3” ”Mongo 在 








































































































每 个 服务 器 必须 执行 它 自己 的 map () 和 red 

推 给 最 初 发 起 调用 的 服务 ， 将 它们 收集 起 来 。 经 典 的 分 而 治之 。 如 果 将 规约 函数 
命名 为 total (总 和 )， 而 不 是 count( 计 数 )， 就 需要 在 循环 中 同时 处 理 两 种 情况 ， 如 下 
所 示 : 

mongo/reduce 2.js 

reduce = function(key, values) { 

Var total = 0; 
i<values.length; i++) { 


for (Var i=0; 
Var data = values[i]; 


























if('total' in data) { 
total += data.total; 
} else { 
total += data.count; 
} 
} 
return { total : total }; 
} 
但 是 ，Mongo 预计 你 可 能 需要 执行 某 些 最 后 的 修改 ， 诸 如 ， 重 命名 一 个 字段 ， 或 进行 
实 需 要 输出 字段 是 total， 那 么 可 以 实现 一 个 fijnalize () 函数 ， 























一 些 其 他 计算 。 如 果 太 
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它 的 工作 方式 与 group () 中 的 finalize 函数 是 一 样 的 。 


5.3.5 第 2 天 总 结 








第 2 天 我 们 通过 引入 一 些 聚 合 查 询 ， 增 强 了 查询 的 威力 : count () 、qistinct ()， 
最 后 是 group ()。 为 了 减少 这 些 查 询 的 响应 时 间 ， 使 用 了 MongoDB 的 索引 选项 。 如 果 需 
要 更 强大 ， 始 终 存在 的 mapReduce () 是 可 用 的 。 


第 2 天 作业 

求索 

1. 执行 管理 (admin) 命令 的 快捷 方式 。 
2. 查询 和 光标 的 在 线 文 档 。 


3. mapreduce 的 MongoDB 文档 。 
























































4. 通 过 JavaScript 接口 ,研究 3 个 集合 函数 的 代码 :help ()、 findone() 和 stats() 。 

















1， 实现 一 个 finalize 方法 ， 将 count 作为 total 输出 。 


2. 安装 一 种 选 定语 言 的 Mongo 驱动 程序 ， 并 连接 到 数据 库 。 通 过 它 填 充 一 个 集合 ， 
并 在 其 中 一 个 字段 上 建立 索引 。 
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Mongo 其 有 强大 的 能 力 ， 可 以 用 不 同 的 方式 来 存储 和 查询 数据 。 但 是 其 他 数据 同样 也 
能 做 到 。 文 档 数据 库 的 独特 之 处 在 于 ， 它 们 能 够 有 效 地 处 理 任 意 嵌 套 的 、 无 模式 的 数据 文 
档 。Mongo 在 文档 存储 领域 的 独特 之 处 在 于 ， 它 能 够 在 多 台 服 务 器 上 实现 伸缩 ， 对 集合 进 
行 复制 (复制 数据 到 其 他 服务 器 ) 或 分 片 (将 一 个 集合 分 成 几 片 )， 并 行 执行 查询 。 复 制 和 
分 片 都 提高 了 可 用 性 。 






































































































































Mongo 的 设计 目的 是 能 够 伸缩 ， 而 不 是 单独 运行 。 它 是 为 数据 一 致 性 和 分 区 容错 性 而 
生 的 ， 但 数据 分 片 是 有 成 本 的 : 如 果 一 部 分 丢失 ， 就 会 危及 整个 集合 。 查 询 只 包含 西半球 
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国家 的 集合 ， 有 什么 意义 呢 ? 对 这 种 分 片 的 隐 含 弱点 ，Mongo 处 理 的 方法 很 简单 ， 复制。 
图 5-4 说 明了 复制 的 重要 性 。 你 几乎 不 应 该 在 生产 环境 中 使 用 单个 Mongo 实例 ， 而 是 应 该 
在 多 个 服务 器 上 复制 存储 的 数据 。 





























ON DS es 以 防 一 个 摔 坏 。 
会 两 个 杯子 ? 为 什么 我 需要 
两 个 … 啊 喘 ! 没 听 说 过 匈 余 吗 ? 


这 是 你 的 行程 
和 两 个 杯子 


QNOWda3a Dlza ZIOZ@ 





WoOoD'D2INOodana2 








图 5-4 ”复制 的 重要 性 



































今天 ， 我 们 不 再 摆弄 原 有 的 数据 库 ， 而 是 从 头 开 始 建立 一 些 新 服务 器 。Mongo 的 默认 
端口 是 27017， 所 以 将 在 其 他 端口 启动 服务 器 。 前 面 曾 提 到 ， 必 须 先 创建 数据 目录 ， 所 以 
创建 3 个 目录 ; 



























































$ mkdir ./mongol ./mongo2 ./mongo3 








接 下 来 启动 Mongo 服务 器 。 这 次 加 上 replSet 标记 ， 取 名 为 book， 并 指定 端口 。 在 
做 这 件 事 时 ， 打 开 REST 标记 ， 这 样 就 能 用 Web 接口 。 




















$ mongod --replSet book --dbpath ./mongol --port 27011 --rest 











打开 另 一 个 终端 窗口 ， 执 行 下 一 条 命令 ， 启 动 另 一 个 服务 器 ， 指 向 不 同 的 目录 ， 监 听 
另 一 个 端口 。 然 后 打开 第 3 个 终端 窗口 ， 启 动 第 3 个 服务 器 。 


















































$ mongod --replSet book --dbpath ./mongo2 --port 27012 --rest 





$ mongod --replSet book --dbpath ./mongo3 --port 27013 --rest 




















请 注意 ， 你 会 在 输出 中 看 到 很 多 这 样 的 信息 。 











[startReplSets] replSet can't get local.system.replset config from self \ 
or any seed (EMPTYCONFIG) 












































这 是 好 事 ， 我 们 还 没有 初始 化 副本 集 ，Mongo 向 我 们 告知 。 启 动 一 个 mongo she11， 
连接 一 个 服务 器 ， 执 行 rs .initiate() 函数 。 
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$ mongo localhost:27011 
> rs.initiatel({ 
:os Dook.y 
members: | 
{Td Thosts.. "Tocalhost 270L71 4 
{Td 2. osts "IoCcalhost .012 
{id; 3 host: JocaLlhost:27013']} 
] 
} 
> rs.status () 






































注意 ， 用 到 了 新 名 对 象 rs〈 副 本 集 )。 像 其 他 对 象 一 样 ， 它 也 有 help () 方法 供 调用 。 
执行 status () 命令 ， 可 以 知道 何 时 副本 集 在 执行 ， 所 以 在 继续 操作 之 前 ， 要 不 断 检 查 完 
成 的 状态 。 如 果 查 看 3 个 服务 器 的 输出 ， 应 该 看 到 一 个 服务 器 输出 下 面 一 行内 容 : 
































~ 一 














[rs Manager] replSet PRIMARY 





男 两 个 服务 器 将 输出 : 





[rs_sync] replSet SECONDARY 














PRIMARY 将 作为 主 服务 器 。 很 可 能 这 是 监 咱 27011 端口 的 服务 器 (因为 它 先 启动 )， 
是 如果 不是 这 样 ， 只 要 再 启动 一 个 控制 台 ， 连 接 主 服 务 器 。 在 命令 行 中 插入 任意 老 数据 ， 
并 且 要 做 一 个 实验 。 



























































> db.echo.insert({ say : 'HELLO!' }) 





























插入 之 后 ， 退 出 控制 台 ， 然 后 要 关闭 主 节点 ， 测 试 变 更 已 经 复制 。 按 CTRL+C 快捷 键 
就 够 了 。 如 果 查 看 剩 两 个 服务 器 的 日 志 ， 应 该 看 到 其 中 一 个 已 经 升级 成 为 主 服务 器 ( 它 
将 输出 replSet PRIMARY)。 打 开 控制 台 并 连接 它 〈 对 我 们 来 说 ， 它 是 localhost:27012 )， 
db .echo .find() 应 该 包含 插入 的 值 。 


我 们 还 要 玩 一 个 “控制 台 推 诱 ” 的 游戏 。 打 开 一 个 控制 台 ， 连 接 剩 下 的 SECONDARY 
(从 ) 服务 器 。 为 了 确认 ， 执 行 i sMaster () 函数 。 结 果 是 这 样 的 : 










































































二 















































$ mongo localhost:27013 
MongoDB shell version: 1.6.2 
connecting to: localhost:27013/test 
> db.isMaster () 
{ 

"setName™" : "book", 

"ismaster" : false, 

"secondary" : true, 
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"hoster :| 
ooalhost:270i 3 
"Ocalhosts S02 
"localhost:27011"™ 

], 

"primary™" : "localhost:27012", 

过 

} 





在 这 个 shell 中 ， 尝 试 插入 男 一 个 值 。 








> db.echo.insert({ say : 'is this thing on?' }) 
not master 








消息 not master 告诉 我 们 ， 我 们 不 能 写 入 从 结 点 。 你 也 不 能 直接 从 它 读 取 。 每 个 副本 
只 能 有 一 个 主 节 点 ， 你 必须 与 它 打交道 。 它 是 这 个 副本 集 的 入 口 。 


与 单一 数据 源 的 数据 库 相 比 ， 复 制 数据 有 它 自 己 的 问题 。 在 Mongo 设置 中 ， 要 次 
定 主 节 点 宕 机 时 谁 提升 为 主 节点 ， 这 是 一 个 问题 。Mongo 处 理 这 个 问题 的 办 法 ， 是 让 
每 个 mongod 服务 有 一 张 选 票 ， 拥 有 最 新 数据 的 服务 将 提升 为 主 节点 。 现 在 应 该 还 有 两 
个 mongod 服务 在 运行 。 继 续 关 掉 当前 的 主 节点 。 记 住 ， 当 对 3 个 节点 这 样 做 时 ， 另 两 
个 节点 中 的 一 个 会 提升 为 新 的 主 节点 。 但 这 次 情况 有 所 不 同 。 最 后 剩 下 的 服务 器 的 输出 
会 像 这 样 
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[ReplSetHealthPollTask] replSet info localhost:27012 is now down (or... 
[rs Manager] replSet can't see a majority, will not try to elect self 








这 就 要 归结 到 Mongo 建立 服务 器 的 哲学 , 以 及 为 什么 总 是 应 该 有 奇数 个 服务 器 (3 个 、 


5 个 竺 Ys 





























接 下 来 重新 启动 另 两 个 服务 器 ， 并 查看 日 志 。 当 两 个 节点 重新 出 现时 ， 它 们 就 进入 恢 
复 状态 , 并 试图 与 新 的 主 节点 再 次 同步 数据 “怎么 这 么 倒霉! ? ”( 我 们 听 到 你 在 叫 )。“ 那 
么 ， 如 果 原 来 的 主 节 点 还 有 一 些 数据 没有 传播 出 去 ， 怎 么 办 ? ”这 些 操作 放弃 了 。 直 到 大 
多 数 节点 都 有 了 数据 的 副本 时 ， 对 Mongo 副本 集 的 写 入 才 认为 成 功 。 









































































































































5.4.2 ”偶数 节点 的 问题 








复制 的 概念 很 容易 接受 : 写 入 一 个 MongoDB 服务 器 ， 把 数据 复制 到 该 副本 集 的 
其 他 服务 器 上 。 如 果 一 个 服务 器 不 可 用 ， 其 他 服务 器 中 的 一 个 会 提升 为 主 节 点 ， 并 响 
应 请 求 。 但 除了 服务 器 崩溃 之 外 ， 还 有 其 他 方式 导致 服务 器 不 可 用 。 有 时 候 ， 节 点 之 
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间 的 网 络 连 接 断 了 。 在 这 种 情况 下 Mongo 规定 ， 如 果 大 部 分 节点 还 能 通信 ， 就 认为 网 
络 还 有 效 。 


MongoDB 希望 副本 集中 总 节点 数 为 奇数 。 例 如 ， 考 虑 5 个 节点 的 网 络 。 如 果 两 连接 
问题 导致 它 分 裂 成 2 节点 和 3 节点 的 片段 ， 较 大 的 片段 明显 占 了 多 数 ， 可 以 选 出 一 个 主 古 
点 ， 继 续 啊 应 请 求 。 如 果 没有 明显 的 多 数 ， 就 无 法 选 出 。 


为 了 说 明 为 什么 希望 是 奇数 节点 ， 请 考虑 4 节点 的 副本 集会 发 生 什么 情况 。 假 定 网 络 
分 区 导致 两 台 服 务 器 与 另 两 台 服 务 器 失去 联系 。 一 边 有 最 初 的 主 节点 ， 但 因为 没有 明显 的 
大 多 数 ， 主 节点 停止 服务 。 另 一 边 也 类 似 ， 不 能 选 出 主 节 点 ， 因 为 它 也 不 能 与 明显 的 大 多 
数 节 点 通信 。 两 边 现 在 都 不 能 处 理 请 求 ， 系 统 实际 上 就 宕 机 了 。 奇 数 个 节点 发 生 这 种 情况 
的 可 能 性 比较 小 ， 即 分 段 的 网 络 导致 每 个 片段 都 少 于 明显 的 大 多 数 。 
有 些 数据 库 〈 如 CouchDB)〉 的 设计 支持 多 个 主 节点 ， 但 Mongo 不 是 这 样 ， 所 以 它 没 
有 准备 在 多 个 主 节点 之 间 提 供 数据 更 新 。MongoDB 解决 多 主 节点 冲突 的 方法 很 简单 , 它 不 
允许 有 多 个 主 节点 。 

不 像 Riak，Mongo 总 是 知道 最 新 的 值 ， 客 户 端 不 需要 决定 。Mongo 关心 很 强 的 写 入 一 
致 性 ， 为 了 实现 这 一 点 ， 防 止 出 现 多 主 节 点 是 不 错 的 方法 。 

















































































































































































































5.4.3 分 片 


Mongo 存在 的 一 个 核心 理由 ， 就 是 安全 而 快速 地 处 理 非常 大 的 数据 集 。 实 现 这 个 目标 
最 清楚 的 方法 ， 就 是 按 值 的 范围 进行 横向 分 片 ， 或 简称 分 片 sharding)。 不 同 于 一 个 服务 
器 存放 一 个 集合 的 所 有 值 ， 把 有 些 范 围 的 值 切 分 《或 者 说 分 片 ) 到 其 他 服务 器 上 。 例 如 ， 
在 电话 号 码 集合 中 ， 可 以 将 所 有 小 于 1-500-000-0000 的 电话 号 码 放 到 Mongo 服务 器 A 上 ， 
将 大 于 等 于 1-500-000-0001 的 放 到 服务 器 B 上 .Mongo 通过 自动 分 片 、 自 动 管理 这 种 划分 ， 
从 而 使 这 样 做 变 得 更 容易 。 


局 动 一 对 非 复制 的 mongoq 服务 器 。 像 副本 集 一 样 ， 规 划 的 分 片 服 务 器 需要 特殊 的 参 
数 〈 它 只 是 表明 这 个 服务 器 能 够 分 片 )。 





































































































































































































$ mkdir ./mongo4 ./mongo5 
$ mongod --shardsvr --dbpath ./mongo4 --port 27014 
$ mongod --shardsvr --dbpath ./mongo5 --port 27015 




















现在 需要 一 个 服务 器 ,实际 追踪 键 。 假定 创建 了 一 个 表 ， 按 字 和 母 顺序 保存 城市 的 名 称 。 
需要 某 种 方式 知道 〈 举 个 例子 ) 以 A~N 开头 的 城市 放 在 服务 器 mongo4 上 ， 以 0O~Z 开 
头 的 城市 放 在 服务 器 mongo5 上 。 在 Mongo 中 ， 创 建 一 个 config 〈 配 置 ) 服务 器 〈 它 也 是 
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一 个 常规 的 mongod)， 追 踪 哪 个 服务 器 (mongo4 或 mongo5) 拥有 哪些 值 。 





$ mkdir ./mongoconfig 


$ mongod --configsvr --dbpath ./mongoconfig --port 27016 























最 后 ， 需 要 运行 第 4 个 服务 器 ， 名 为 mongos， 它 是 对 客户 的 一 个 单 点 入 口 。mongos 
服务 器 将 连接 到 mongoconfig 配置 服务 器 ， 追踪 存放 在 上 面 的 分 片 信 息 。 设 置 端口 为 
27020，chunkSize 是 1。(chunkSize 是 I1MB， 是 允许 的 最 小 值 。 这 只 是 针对 小 数据 集 ， 
这 样 我 们 可 以 看 到 分 片 发 生 。 在 生产 环境 中 ， 应 该 使 用 默认 值 ， 或 更 大 的 数字 。) 通过 
-configdb 标识 ， 让 mongos 指向 配置 服务 器 和 端口 。 








































































































$ mongos --configdb localhost:27016 --chunkSize 1 --port 27020 











mongos 漂亮 的 地 方 在 于 , 它 是 一 个 全 功能 mongod 服务 器 的 轻 量 级 副本 。 对 mongod 
发 出 的 几乎 所 有 命令 ， 都 可 以 对 mongos 发 出 ， 这 使 它 成 为 了 客户 端 与 多 个 分 片 服务 器 之 
间 的 完美 中 介 。 服 务 器 设置 图 也 许 有 助 于 理解 〈 见 图 5-5)。 















































客户 端 


mongos 











配置 
(mongod) 





分 片 2 


(mongod) 











图 5-5 ”小 型 分 片 集群 





投票 与 仲裁 者 

有 时 候 你 可 能 不 希望 用 奇数 台 服务 器 来 复制 数据 。 此 时 , 要 么 可 以 启动 一 个 仲裁 者 (一 
般 推 荐 )， 要 么 增加 服务 器 的 投票 权重 (一般 不 推荐 )。 在 Mongo 中 ， 仲 载 者 (arbiter ) 
是 副本 集中 参与 投票 ， 但 不 复制 的 服务 器 。 像 启动 其 他 服务 器 一 样 启动 它 ， 但 在 配置 
中 设 一 个 标识 , 像 这 样 : { id: 3, host: 'localhost:27013', arbiterOnly: 
true}。 仲 载 者 对 于 连接 中 断 的 情况 是 有 用 的 ， 就 像 美国 副 总 统 在 参议 院 一 样 。 默 认 
情况 下 ， 每 个 mongod 实例 有 一 张 选票 。 
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mongos 与 mongoconfig 

你 可 能 好 奇 ,为 什么 Mongo 将 configuration 和 mongos 入 口 点 分 别 放 在 两 个 服务 器 上 。 
这 是 因为 在 生产 环境 中 ， 它 们 通常 会 在 不 同 的 物理 服务 器 上 。 配 置 服务 器 ( 它 自己 被 
复制 ) 为 其 他 分 片 服 务 器 管理 分 片 信 息 , 而 mongos 可 能 只 存在 于 本 地 的 应 用 服务 器 上 ， 
让 客户 端 能 够 方便 地 连接 (不 需要 管理 连接 哪个 分 片 )。 


现在 打开 mongos 服务 器 的 控制 台 ， 进 入 admin 数据 库 。 要 配置 一 些 分 片 。 



























































$ mongo localhost:27020/admin 


> db.runCommand( { addshard : "localhost:27014" } ) 
{ "shardAdded" : "shard0000", "ok" : 1 } 
> db.runCommand( { addshard : "localhost:27015" } ) 
{ "shardAdded™" : "shard0001", "ok" : 1 } 








这 样 设置 之 后 ， 就 要 给 出 需要 分 片 的 数据 库 和 集合 ， 以 及 分 片 所 依据 的 字段 (在 例子 
是 城市 的 名 称 )。 




















> db.runCommand( { enablesharding : "test" } ) 

全 ORKY 半 

> db.runCommand( { shardcollection : "test.cities", key : {name : 1} } ) 
{ "collectionsharded™" : "test.cities", "ok" : 1 } 























完成 所 有 设置 之 后 ， 加 载 一 些 数据 。 如 果 下 载 了 本 书 的 代码 ， 就 会 看 到 一 个 12MB 的 


























数据 文件 ， 名 为 mongo_cities1000.json， 它 包含 世界 上 所 有 人 口 超过 1000 的 城市 。 
下 载 这 个 文件 ， 执 行 下 面 的 导入 脚本 ， 将 数据 导入 mongos 服务 器 : 




















$ mongoimport -h localhost:27020 -db test --collection cities \ 
--type json mongo cities1000.json 











过 mongos 控制 台 ， 输 入 use test， 从 admin 环境 回 到 test 环境 。 








总 





5.4.4 ”地 理 空间 查询 


Mongo 有 一 个 内 置 的 漂亮 技巧 。 虽 然 我 们 今天 关注 的 是 服务 器 的 设置 ， 但 是 每 天 都 应 









































有 一 点 妙招 ， 这 就 是 Mongo 快速 执行 地 理 空间 查询 的 能 力 。 先 连接 到 mongos 分 片 服 








$ mongo localhost:27020 














地 理 空 间 查 询 的 秘诀 就 在 于 索引 。 这 是 一 种 特殊 形式 的 索引 地 理 数 据 ， 名 为 geohash， 


























不 仅 能 在 任意 的 查询 中 快速 找到 具体 的 值 或 范围 ， 而 且 能 快速 找到 附近 的 值 。 方 便 的 是 ， 
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be 





在 前 一 节 的 末尾 ， 装 入 了 很 多 地 理 数据 。 所 以 要 查询 它 ， 第 1 步 就 是 在 location 字段 上 对 
数据 进行 索引 。2 维 索 引 必 须 建立 在 两 个 值 的 字段 上 ， 在 例子 中 是 一 个 哈 希 表 〈 例 如 ， 
{ longitude:1.48453，latitude:42.57205 })， 但 它 也 很 容易 是 一 个 数组 (例如 ， 
[L48453> 42.57205]% 




















人 














> db.cities.ensureIndex({ location : "2dq" }) 





























如 果 不 是 处 理 分 片 的 集合 ， 就 可 以 很 容易 地 查询 城市 或 附近 的 位 置 。 但 是 ， 对 当前 的 
Mongo 版 本 来 说 ， 下 面 的 查询 只 能 在 不 分 片 的 集合 上 生效 。 
































> db.cities.find({ Location : { S$near : [45.52, -122.67] } )})) .1Limit(5) 




















在 将 来 的 版 本 中 ， 应 该 提供 分 片 集合 的 补丁 。 但 在 目前 ， 要 对 分 片 的 cities 集合 进 
行 查询 ， 找 出 一 个 位 置 附近 的 其 他 城市 ， 可 以 使 用 geoNear () 命令 。 下 面 是 它 返回 结果 的 一 
个 例子 : 













































































> db.runCommand ({geoNear : 'cities', near : [45.52, -122.67], 
num : 5, maxDistance : 1}) 


"ns 3 pest citias,; 
"near™ : "1000110001000000011100101011100011001001110001111110", 
"results™ :; | 
{ 
"dis" : 0.007105400003747849, 
vobj™ :A 
"_id" : ObjectIdq("4aq81c216a5a037634ca98af6")， 
"name"” : "Portland", 


], 
vstats 1{ 
"time™” : 0, 
"btreelocs" : 53， 
"nscanned" : 49, 
"objectsLoaded™" : 6, 
"avgDistance" : 0.02166813996454613, 
"maxDistance" : 0.07991909980773926 
}, 
“Ok 
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geoNear () 也 有 助 于 发 现 一 些 地 理 空间 命令 的 错误 。 它 返回 的 有 用 信息 是 一 座 金 矿 ， 
诸如 与 查询 点 的 距离 ， 返 回 集 的 平均 距离 和 最 大 距离 ， 以 及 索引 信息 。 



































5.4.5 GridFS 








分 布 式 系统 有 一 点 不 足 ， 就 是 缺乏 一 个 一 致 的 文件 系统 。 假 定 你 运营 着 一 个 网 站 ， 用 户 可 
以 上 传 他 们 自己 的 图 片 。 如 果 你 在 几 个 不 同 的 节点 上 运行 几 个 Web 服务 器 ， 就 必须 手动 将 上 转 
的 图 片 复 制 到 每 个 Web 服务 器 的 硬盘 上 ， 或 者 创建 菜 种 奉 代 的 集中 式 系统 。Mongo 处 理 这 种 情 
况 的 方法 , 是 用 它 自 己 的 分 布 式 文件 系统 , 名 为 GridFS。 这 类 似 我 们 和 Riak 一 起 使 用 的 Luwak。 


Mongo 自 带 一 个 命令 行 的 工具 ， 与 GridFS 交互 。 好 事情 是 不 需要 特别 的 设置 就 可 以 用 它 。 
如 果 利 用 mongofiles 命令 列 出 mongos 管理 的 分 片 集群 中 的 文件 ， 会 得 到 一 个 空 列表 。 
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$ mongofiles -h localhost:27020 list 


connected to: localhost:27020 








上 传 一 个 文件 。 





$ mongofiles -h localhost:27020 put my_ file.txt 


connected to: localhost:27020 

added file: { id: ObjectIid('4d81cc96939936015f£974859'), filename: "my file.txt", AN 
chunkSize: 262144, uploadDate: new Date(1300352150507), \ 
md5: "844ab0d45e3bded0d48c2e77ed4f3b0e", length: 3067 } 

done! 











如 果 列 出 mongofiles 的 内 容 ， 我 们 会 看 到 上 传 的 文件 名 。 





$ mongofiles -h localhost:27020 list 


connected to: localhost:27020 
my_file.txt 3067 











加 到 mongo 控制 台 ， 我 们 可 以 看 到 Mongo 存放 数据 的 集合 。 




















> show collections 


cities 
fs.chunks 
fs.files 
system.indexes 














既然 它们 只 是 普通 的 集合 ， 就 可 以 像 其 他 集合 一 样 复制 或 查询 它们 。 








168 第 5 章 MongoDB 


5.4.6 第 3 天 总 结 

















这 里 结束 了 对 MongoDB 的 研究 。 今 天 我 们 主要 关注 Mongo 如 何 通过 副本 集 ， 来 增强 
数据 的 持久 性 ， 并 通过 分 片 来 支持 横向 伸缩 。 我 们 看 到 了 好 的 服务 器 配置 ， 以 及 Mongo 如 
何 提 供 mongos 服务 器 ， 作 为 多 节点 间 自 动 分 片 的 中 继 器 。 


第 3 天 作业 
1. 阅读 在 线 文档 中 的 副本 集 配置 的 全 部 选项 。 
2. 找到 创建 球面 地 理 〈spherical geo) 索引 的 方法 。 
















































































































































































实践 
1，Mongo 支 持 范围 形状 ( 即 正方 形 和 圆 形 )。 请 找 出 以 伦敦 为 中 心 ，50 英里 的 正方 形 
之 内 的 所 有 城市 。! 











2. 运行 6 个 服务 器 : 3 个 服务 器 构成 一 个 副本 集 ， 两 个 副本 集 构 成 两 个 分 片 。 运 行 一 
个 配置 服务 器 和 mongos。 跨 这 些 服务 器 运行 GridFS 〈 这 是 终极 考试 )。 









































5.5 总 结 





我 们 希望 对 MongoDB 的 这 次 尝试 已 经 激发 了 你 的 想象 力 ， 并 向 你 展示 了 它 如 何 遍 得 
“其 大 无 比 ”(humongous) 数据库 的 名 号 。 我 们 在 一 章 中 介绍 了 许多 内 容 ， 但 像 以 往 一 样 ， 
我 们 仅仅 触及 皮毛 。 



































5.5.1 Mongo 的 优点 






































Mongo 的 主要 优势 在 于 ， 它 能 够 通过 复制 和 横向 伸缩 ， 处 理 大 量 的 数据 (以 及 大 量 的 
请 求 )。 但 它 还 有 男 一 项 好 处 ， 即 非常 灵活 的 数据 模型 ， 因 为 不 需要 遵从 某 个 模式 ， 可 以 简 
单 地 嵌 套 任何 值 ， 而 这 在 RDBMS 中 通常 需要 使 用 SQL 进行 联接 。 

最 后 ，MongoDB 的 设计 目标 是 易于 使 用 。 你 可 能 注意 到 Mongo 的 命令 和 SQL 的 数据 
库 概 念 之 间 的 相似 性 《除了 服务 器 端的 联接 之 外 )。 这 并 非 偶然 ，Mongo 受到 这 么 多 前 对 
象 关系 模型 (Object Relational Model，ORM) 用 户 青睐 ， 这 也 是 原因 之 一 。 它 的 不 同 足以 














































































































! http:/www.mongodb.org/display/DOCS/Geospatial+Indexing 
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找到 许多 开发 者 的 痒 处， 但 又 没有 完全 不 同 ， 成 为 令 人 轴 怖 的 怪物 。 











5.5.2 ”Mongo 的 缺点 

















Mongo 鼓励 反 规 范 化 的 模式 〈 没 有 任何 模式 )， 这 对 于 一 些 人 可 能 难以 接受 。 一 些 
发 者 发 现 ， 关 系数 据 库 无 情 的 、 严 格 的 约束 让 人 感到 放心 。 将 任意 类 型 的 任意 值 插入 任意 
展 合 ， 这 可 能 很 危险 。 如 果 你 没 想到 检查 字段 名 和 集合 名 是 否 有 问题 ， 一 个 录入 错误 可 能 
导致 几 个 小 时 的 头痛 。 如 果 数 据 模型 已 经 相当 成 熟 ， 不 会 变化 ,那么 Mongo 的 灵活 性 通常 
并 不 重要 。 
因为 Mongo 关注 大 型 数据 集 , 所 以 它 很 适合 大 型 集群 ， 这 可 能 需要 花 一 些 努 力 去 设计 
和 管理 。 在 Riak 中 ， 添 加 新 的 节点 是 透明 的 、 几 乎 没有 痛苦 的 操作 。Mongo 不 一 样 ， 建 立 
Mongo 集群 需要 一 些 前 期 思考 。 


























































































































5.5.3 ”结束 语 





























如 果 你 习惯 于 ORM， 目 前 正 使 用 关系 数据 库 来 保存 数据 ，Mongo 是 很 好 的 选择 。 我 
们 经 常 推 荐 给 Rails、Django 和 模型 -视图 -控制 器 (Model-View-Controller，MVC) 的 开发 
者 ， 因 为 他 们 常常 在 应 用 层 通过 模型 (model) 进行 验证 和 字段 管理 ， 也 因为 不 再 需要 模式 
迁移 〈 在 大 多 数 情况 下 )。 在 文档 中 添加 新 字段 ， 就 像 在 数据 模型 中 添加 新 字段 一 样 容易 ， 
Mongo 会 很 高 兴 地 接受 新 的 字段 。 我 们 发 现 ， 在 应 用 驱动 数据 集 的 情况 下 ， 对 许多 常见 问 
题 ，Mongo 比 关系 数据 库 更 容易 给 出 自然 的 解决 方案 。 
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CouchDB 




















轻便 的 环 轮 扳手 ， 可 以 随身 携带 用 于 各 种 作业 。 类 似 于 强劲 的 电钻 ， 你 可 以 像 操 作 螺 





























丝 与 承 也 一样， 替换 各 种 尺寸 的 扳手 头 。 但 是 ， 相 比 电钻 需要 120 伏特 的 交流 电 ， 扳 手 不 

















是 心满意足 地 躺 在 口袋 

















Eo 1 


就 是 在 卖力 地 : 


于 活 。Apache CouchDB， 就 是 这 样 的 “扳手 ”， 





能 届 能 伸 ， 轻 松 应 对 各 种 规模 与 复杂 度 的 问题 。 











CouchDB 是 基于 JSON 与 REST 的 面向 文档 的 数据 库 ， 且 堪 称 该 类 型 数据 库 的 经 典 。 


























CouchDB 的 第 一 次 发 布 是 在 2005 年 ， 该 版 本 的 设计 考虑 了 Web， 可 随 之 而 来 的 却 是 无 数 
的 缺 聊 、 错 误 、 故 障 与 瑕 疫 。 所 幸 的 是 ，CouchDB 最 终 发 展 为 极其 健壮 的 数据 库 ， 为 其 他 
大 部 分 数据 库 所 不 及 。 相 比 其 他 系统 只 能 容忍 个 发 的 网 络 中 断 ，CounchDB 甚至 能 在 网 络 
仅 偶 尔 可 用 时 ， 开 足 马 力 正 常 运作 。 











与 MongoDB 有 点 类 似 ，CouchDB 存储 由 键 - 值 对 组 成 的 JSON 文档 ， 其 中 ， 值 可 取 若 







































































干 类 型 中 的 任意 一 种 ， 包 括 册 套 任意 深度 的 其 他 对 象 。 虽 然 没 有 自由 定义 的 查询 ， 但 是 你 





依然 可 以 查找 想 要 的 文档 ， 主 要 途径 是 增 





有 























引 视图 。 











6.1 在 沙发 上 放松 





CouchDB 无 愧 于 它 的 口 
各 种 场景 的 部 署 ， 大 到 数据 中 心 ， 小 至 智 
行 CouchDB， 也 可 以 在 数据 中 心中 使 用 。 
十 足 一 一 关闭 CouchDB 的 唯一 方法 是 结束 其 进程 。 而 只 支持 追加 的 存储 模式 ， 实 际 上 使 数 
据 不 会 损坏 ， 易 于 复制 、 
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备 


























量 式 映射 规约 (incremental mapreduce) 生 成 的 索 














号 : 放松 。 相 对 于 只 注重 大 规模 集群 设施 ，CouchDB 意 在 支持 























能 手机 。 你 可 以 在 安 章 手机 或 者 MacBook 上 运 
CouchDB 由 Erlang 语言 编号， 其 实现 可 谓 干 劲 

















份 与 恢复 。 


























CouchDB 是 面向 文档 的 ， 使 月 
CouchDB 的 调用 都 运行 于 REST 接口 之 J 
hoc) 的 也 可 以 是 连续 的 。CouchDB 赋予 你 足够 的 灵活 | 








你 的 数据 。 


CouchDB 与 MongoDB 的 比较 














上 。 复 
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日 JSON 作为 其 存储 与 通信 的 语言 。 正 如 Riak， 所 有 对 




















判 可 以 单 向 也 可 以 双向 , 可 以 是 
全， 以 决定 如 何 构架 、 保 护 与 分 布 
































定义 (ad 























本 书 想 回答 的 一 大 问题 是 “CouchDB 与 MongoDB 的 差别 是 什么 ? ”从 表面 看 ， 
CouchDB 与 MongoDB〈 第 5 章 讨 论 过 ) 相当 类 似 。 它 们 都 采用 面向 文档 的 数据 存储 方式 ， 
对 以 JSON 为 数据 传输 载体 的 JavaScript 十 分 友好 。 但 是 ， 差 别 也 是 明显 的 ， 从 项 目 理念 、 
实现 到 可 扩展 性 的 特点 ， 都 有 所 不 同 。 在 探索 CouchDB 简约 之 美的 过 程 中 ,我 们 会 详 述 这 





些 特性 。 


在 为 期 三 天 的 “行程 ”| 


往 ， 我 们 会 从 单独 




















的 CRUD 命令 























解 其 他 数据 库 一 样 ， 我 们 会 导入 


























我 们 会 用 Node.js 





始 吧 ! 

















发 一 些 简 单 的 事 伯 













































































PF， 我 们 将 探索 许多 CouchDB 的 亮点 与 设计 选择 。 一 如 既 
始 ， 然 后 经 
些 结构 化 的 数据 ， 
驱动 的 客户 端 应 月 


图 ， 进 而 讨论 索引 。 与 讲 











比 讨论 一 些 进 阶 概念 。 最 后 ， 
日 ， 并 学 习 CouchDB 的 主 - 主 
于 主 -从 master-slave) 复制 策略 是 如 何 处 理 更 新 冲突 的 。 来 ， 


(master-master， 相 对 汪 
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今天 ，CouchDB 的 探索 之 旅 将 拉 
我 们 会 用 它 执 行 基本 的 CRUD 操作 。 此 
通信 一 一 用 于 发 起 REST 调用 。Couch 














REST 请 求 ， 因 此 ， 











6.2.1 享受 Futon 


CouchDB 自 带 一 个 名 为 Futon 的 实 


页 面 。 

















! Futon 原意 为 日 式 床 热 








， 这 里 为 CouchDB 中 名 为 Futon 的 Web 接口 。 

















后 , 我 们 会 习 





先 理解 其 REST 的 了 

































































Web 接口 。 


序幕 ， 起 点 是 CouchDB 中 称 为 Futon 的 Web 接口 ， 
拾 cURL 一 一 在 第 3 章 中 , 用 它 与 Riak 
DB 的 所 有 库 与 驱动 程序 ， 其 底层 实现 都 归于 发 送 
[ 作 方式 ， 是 合乎 情 





























装 并 运行 CouchDB , 打开 Web 























示 如 图 6-1 所 示 的 Overview 
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欢迎 来 到 管理 员 派 对 

你 可 能 注意 到 , 在 Futon 页 面 右 栏 底部 有 一 条 警告 消息 , 告知 用 户 “ 人 人 都 是 管理 员 ”。 
由 于 CouchDB 的 目标 是 成 为 产品 服务 器 , 因此 , 读 到 这 条 消息 后 , 势必 要 点 击 “Fix this” 
链接 ， 新 建 一 个 管理 员 账 号 ， 以 限制 管理 员 权限 。 而 在 此 ， 我 们 可 不 做 修改 ， 便 于 后 
续 的 各 种 操作 。 





Overview 


有”. 
Create Database 
Name Size Number of Documents Update Seq 
_replicator 8.1 KB 1 


ee 4 1 CouchDB 


Rows per page:| 10 v 





Configuration 
Replicator 
Status 

Test Suite 


Welcome to Admin Party! 
Everyone is admin. “ix this 








Futon on Apache CouchDB 1.1.1 





图 6-1 CouchDb Futon:Overview Page 


在 开始 操作 文档 之 前 ， 需 要 创建 一 个 数据 库 来 容纳 它们 。 我 们 打算 新 建 一 个 数据 库 
存储 音乐 家 的 信息 ， 包 括 其 专辑 与 曲目 数据 。 点 击 Create Database 按钮 。 在 弹出 框 内 ， 输 
入 music 并 点 击 Create 按钮 。 然 后 ， 这 会 自动 将 你 转向 database 的 页 面 。 至 此 ， 我 们 就 能 
创建 新 的 或 者 打开 已 有 的 文档 了 。 


在 music 数据 库 的 页 面 中 ， 点 击 New Document 按钮 。 你 会 看 到 一 个 新 的 页 面 ， 类 似 
图 6-2。 
















































































与 MongoDB 一 样 ， 每 个 文档 含有 一 个 JASON 对 象 ， 其 中 又 包含 称 为 域 (field) 的 
键 - 值 对 。CouchDB 中 的 所 有 文档 都 有 一 个 _idq 域 ， 它 必须 是 唯一 的 且 不 能 修改 。 可 以 显 
式 地 指定 id, 即使 没有 指定 , CouchDB 也 会 自动 生成 一 个 。 在 这 里 , 可 以 用 自动 生成 的 id， 
所 以 点 击 Save Document 按钮 完成 操作 即 可 。 
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74c7a8d2a8548c8b97da748f43000ac4 





9 Save Document DY Add Ficld © Upload Attachment 


Fields Source 
Field Value 
id 74c7a8d2a8548c8b97da748f43000ac4 四 日 














图 6-2 CouchDB Futon: 新 建 一 个 文档 











保存 该 文档 之 后 ，CouchDB 会 立刻 给 它 分 配 男 一 个 名 为 _rev 的 域 。 这 个 域 会 在 每 次 
文档 变化 时 ， 获 得 新 值 。 这 个 表示 版 本 的 字符 串 ， 格 式 为 : 整数 + “-” + 唯一 的 伪 随 机 
数字 符 串 。 开 头 的 整数 就 是 版 本 一 一 在 此 为 1。 

以 下 划 线 (_ ) 开始 的 域 的 名 字 ， 对 CouchDB 有 特殊 含义 ， 像 _iq 与 _rev 就 尤其 重要 。 
想 更 新 或 者 删除 某 个 已 有 的 文档 ， 必 须 提供 _ia 与 相应 的 _rev。 如 果 发 现任 何 失 配 ， 
CouchDB 都 会 拒绝 该 操作 。 而 这 ， 就 是 CouchDB 避免 冲突 的 秘诀 确保 只 修改 最 新 版 
本 的 文档 。 


CouchDB 没有 事务 与 锁 的 概念 。 为 了 修改 已 有 记录 ， 必 须 先 将 它 读 出 ， 留 意 其 id 
与 _rev。 然 后 ,提供 完整 的 文档 (包括 _ig 与 _rev)， 以 此 请 求 更 新 。 所 有 操作 都 是 “ 先 
到 先 得 ”CouchDB 通过 检查 并 匹配 _rev， 可 以 确保 你 认为 你 正在 修改 的 版 本 ， 不 会 在 
你 看 不 到 的 地 方 发 生变 化 。 

在 已 经 打开 的 document 页 面 中 ， 点 击 Add Field 按钮 。 在 Field 栏 中 ， 输 入 name， 在 
Value 栏 输入 The Beatles 。 点 击 输入 值 右 侧 的 绿 勾 ， 确 保 该 值 没有 问题 ， 然 后 点 击 Save 
Document 按钮 。 我 们 会 看 到 _rev 域 的 值 变 成 以 2 开头 了 。 

CouchDB 不 限于 存储 字符 串 , 它 能 处 理 任 何 嵌 套 深度 的 JSON 结构 ,再 次 点 击 Add Field 
按钮 。 这 次 Filed 设置 为 albums，Value 域 则 填 入 如 下 内 容 (这 不 是 完整 列表 ): 





















































































































































































































































[ 
"Helpl!", 
"Sgt. Pepper's Lonely Hearts Club Band", 
"Abbey Road" 

] 





点 击 Save Document 按钮 后 ， 你 会 看 到 图 6-3 所 示 的 页 面 。 


除了 名 字 ， 还 有 更 多 关于 专辑 的 信息 ， 可 以 继续 添加 一 些 。 修 改 albums 域 ， 用 如 下 
直 替 换 刚 和 输入 的 那些 值 ; 























的 


i 
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74c7a8d2a8548c8b97da748f43000ac4 





©@ Save Document © Add Field OO Upload Attachment @ Delete Document. 


Fields Source 
Field Value 
id 74c7a8d2a8548c3b97da748f43000ac4 
rev 3-c5d8766b14b87caec8eda9fee421a99c 
albums 0 “Help! 


1 Sgt, Pepper's Lonely Hearts Club Band 
2 Abbey Road 


name The Beatles 


二 Previous Version 














图 6-3 CouchDB Futon: document with an array value 





"title": "Help!", 
"year™: 二 965 


"title": "Sgt. Pepper's Lonely Hearts Club Band", 
"year": 1967 





"title": "Abbey Road", 
"year": 1969 























保存 文档 后 ， 你 已 经 不 知 不 觉 扩展 了 albums 的 值 一 一 区 套 文档 。 页 面 看 起 来 
图 6-4。 




















74c7a8d2a8548c8b97da748f43000ac4 





@ Save Document © Add Field (i Upload Attachment. @ Delete Document 
Fields Source 


Field Value 
id 74c7a8d2a8543c8b97da748f43000ac4 


rev 4-93a101178ba65f6led39e60d70c9fd97 


albums 日 0 
title “Help! 
year 1965 


title “Sgt, Pepper's Lonely Hearts Club Band 
year 1967 


title “Abbey Road 
year 1969 


name The Beatles 


+— Previous Version 





图 6-4 CouchDB Futon: 包含 深度 找 套 值 的 文档 
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单 击 Delete Document 按钮 ， 正 如 其 名 , 会 将 文档 从 music 数据 库 删 除 它 。 但 是 ， 先 别 
这 么 做 。 回 到 命令 行 ， 看 看 如 何 通过 REST 与 CouchDB 交互 。 


























6.2.2 用 cURL 执行 基于 REST 的 CRUD 操作 














与 CouchDB 的 所 有 通信 都 是 基于 REST 的 ， 即 通过 HTTP 发 送 命令 。 除 了 CouchDB， 
我 们 还 讨论 过 其 他 通过 REST 交互 的 数据 库 。 比 如 ， 第 3 章 讨论 的 ，Riak 也 基于 REST 实 
现 客户 端 与 数据 库 的 所 有 交互 。 与 Riak 一 样 ， 可 以 使 用 命令 行 工 具 cURL， 与 CouchDB 
通信 。 


在 深入 视图 (view) 话题 前 ， 先 执行 一 些 基础 的 CRUD 操作 。 作 为 开始 ， 打 开 命令 行 
界面 ， 运 行 下 面 的 命令 : 






















































































$ curl http://localhost:5984/ 


{"couchdb":"Welcome", "version"™:"1.1.1"} 



































发 送 GET 请 求 (cURL 的 默认 行为 )， 可 以 获取 URL 中 指定 的 信息 。 而 访问 根 目 录 只 
能 告诉 你 CouchDB 已 经 启动 , 以 及 目前 正在 运行 的 版 本 。 下 面 不 妨 查询 之 前 建立 的 music 
数据 库 的 信息 〈 为 便于 阅读 ， 命 令 输出 已 格式 化 ): 






































An 


curl http://localhost:5984/music/ 


"db name":"music", 

dor wountrs ly 

"doc del count":0, 

"update seq":4, 

"purge seq":0, 

"compact running":false, 

"disk size":16473, 

"instance start time":"1326845777510067", 
"disk format version":5, 


"committed update seq":4 








该 请 求 返回 的 信息 包括 : 数据 库 中 存储 了 多 少 文档 ， 服 务 器 运行 了 多 和 久 ， 以 及 执行 操作 
的 数目 。 






































6.2.3 用 GET 读 取 文档 














要 检索 某 个 特定 文档 ， 需 要 将 其 _iq 追加 到 数据 库 URL 之 后 ， 如 下 所 示 : 
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$ curl httP://Localhost :5984/music/74c7a8d2a8548c8b97da748f43000ac4 


" id":"74c7a8d2a8548c8b97da748f43000ac4", 

" rev":"4-93al01178ba65f6led39e60d70c9fq97", 
"name":"The Beatles", 

albuns .SL 


"title":"Help!", 
"year":1965 

,1{ 
"title":"Sgt. Pepper's Lonely Hearts Club Band", 
"year":1967 

,1{ 
"title":"Abbey Road", 
"year":1969 











在 CouchDB 中 ， 发 送 GET 请 求 总 是 安全 的 。CouchDB 不 会 因此 对 文档 做 任何 修改 。 








而 要 修改 数据 库 ， 必 须 使 用 其 他 HTTP 命令 ， 如 PUT、POST 和 DELETE。 


6.2.4 用 POST 新 建文 档 


























要 新 建文 档 ， 可 以 使 用 POST 方法 ， 但 需 确 保 在 HTTP 头 Content-Type 的 值 为 


























application/json; 否则 ，CouchDB 会 拒绝 该 请 求 。 














$ curl -i -X POST "http://localhost:5984/music/" \ 
-H "Content-Type: application/json" \ 
-d '{ "name": "Wings" }" 
HTTP/1.1 201 Created 
Server: CouchDB/1.1.1 (Erlang OTP/R14B03) 
Location: http://localhost:5984/music/74c7a8d2a8548c8b97da748f£f43000f1b 
Date: Wed, 18 Jan 2012 00:37:51 GMT 
Content-Type: text/plain;charset=utf-8 
Content-Length: 95 
Cache-Control: must-revalidate 


ok™ :tue 
"id":"74c7a8d2a8548c8b97da748f£f43000f1lb", 
"rev":"1-2feldd1911153eb9df8460747dfe75a0™" 


























HTTP 响应 代码 “201 Createq”， 可 以 知道 新 建文 档 请 求 成 功 了 。 而 响应 体 则 包 





























含 JSON 对 象 ， 该 对 象 中 有 诸如 _id 与 _rev 值 的 有 用 信息 。 
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6.2.5 用 PUT 更 新 文档 














Th 
~ 











PUT 命令 用 于 更 新 已 经 存在 的 文档 ， 也 可 以 创 弹 
PUT 的 URL 包含 数据 库 URL， 且 未 尾 有 文档 的 _idq。 





潜 


带 有 特定 _iq 的 文档 。 与 GET 一 要 























$ curl -i -X PUT \ 
"http://localhost:5984/music/74c7a8d2a8548c8b97da748£f43000f1lb" \ 
-H "Content-Type: application/json" \ 
-d '{ 
"_id": "74c7a8d2a8548c8b97da748f43000f1lb", 
"_rev": "1-2feldd1911153eb9df8460747dfe75a0", 
"name": "Wings", 
"albums": ["Wild Life", "Band on the Run", "London Town"] 
} 
HTTP/1.1 201 Created 
Server: CouchDB/1.1.1 (Erlang OTP/R14B03) 
Location: http://localhost:5984/music/74c7a8d2a8548c8b97da748f43000f1b 
Etag: "2-1l7e4ce41cd33d6a38f04a8452d5a860b" 
Date: Wed, 18 Jan 2012 00:43:39 GMT 
Content-Type: text/plain;charset=utf-8 
Content-Length: 95 


Cache-Control: must-revalidate 


owtrie; 
"id":"74c7a8d2a8548c8b97da748f£f43000f1lb", 
"rev":"2-17e4ce41cd33d6a38f04a8452d5a860b" 








在 MongoDB 中 ， 可 以 修改 文档 的 某 处 ， 而 对 于 CouchDB， 任 何 改动 ， 无 论 多 小 ， 都 
会 导致 原本 的 整个 文档 被 重 写 。 我 们 之 前 所 见 的 Futon Web 接口 , 看 似 独立 修改 了 单个 域 ， 
但 是 当 点 击 Save 按钮 时 ， 其 在 后 台 保 存 了 整个 文档 。 
























































先前 提 过 ，_ia 与 _rev 必须 和 待 更 新 的 文档 完全 匹配 ， 和 否则 操作 就 会 失败 。 再 次 执 
行 相同 的 PUT 操作 ， 可 以 获得 感性 认识 。 











HTTP/1.1 409 Conflict 

Server: CouchDB/1.1.1 (Erlang OTP/R14B03) 
Date: Wed, 18 Jan 2012 00:44:12 GMT 
Content-Type: text/plain;charset=utf-8 
Content-Length: 58 


Cache-Control: must-revalidate 


{"error":"conflict","reason":"Document update conflict."} 
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你 会 收 到 一 个 “HTTP 409 Conflict” 应 答 ， 以 及 描述 问题 的 JSON 对 象 。 这 就 是 
CouchDB 实现 一 致 性 的 方式 。 





6.2.6 用 DELETE 移 除 文档 
































最 后 ， 用 DELETE 操作 从 数据 库 中 移 除 文档 。 














$ curl -i -X DELETE \ 
"http://localhost:5984/music/74c7a8d2a8548c8b97da748£43000f1lb" \ 
-H "If-Match: 2-l7e4ce4lcd33d6a38f04a8452d5a860b" 

HTTP/1.1 200 OK 

Server: CouchDB/1.1.1 (Erlang OTP/R14B03) 

Etag: "3-42aafb7411c092614ce7c9f4ab79dc8b" 

Date: Wed, 18 Jan 2012 00:45:36 GMT 

Content-Type: text/plain;charset=utf-8 

Content-Length: 95 


Cache-Control: must-revalidate 


"ok":true, 
"id":"74c7a8d2a8548c8b97da748f£43000f1lb", 
"rev":"3-42aafb7411c092614ce7c9f4ab79dc8pb" 





尽管 被 删除 的 文档 即将 消失 ， 但 DELETE 操作 还 是 会 产生 一 个 新 的 版 本 号 。 值 得 
提 的 是 ， 被 删除 的 文档 并 非 真 的 从 磁盘 上 移 除 ， 取 而 代 之 的 是 一 个 新 的 空白 文档 ， 将 该 
文档 标记 为 已 删除 。 就 像 更 新 一 样 ，CouchDB 不 就 地 修改 文档 。 但 是 ， 文 档 还 是 相当 于 
删除 了 。 





































































































6.2.7 第 1 天 总 结 














我 们 已 经 学 了 如 何 用 Futon 与 cURL 执行 基本 的 CRUD 操作 ， 是 时 候 讨 论 一 些 更 高 级 
的 话题 了 。 在 第 2 天， 我们 会 深入 了 解 如 何 创建 索引 视图 。 它 提供 了 除了 指定 _ia 值 之 外 
另 一 种 检索 文档 的 方式 。 


第 1 天 作业 


1. 获取 在 线 CouchDB HTTP Document API 资料 。 
































2. 我 们 已 经 用 了 GET、POST、PUT 以 及 DELETE。 还 有 其 他 支持 的 HTTP 命令 吗 ? 


实践 


1. 用 cURL 执行 PUT 命令 ， 新 建 music 数据 库 的 文档 ， 蓝 
指定， 然后 再 用 cURL 将 该 数据 库 删 除 。 
最 后 ， 编写 并 


2. 用 cURL 新 建 数据 库 ， 旧 


























名 字 由 




















3. 








] cURL 新 建文 要 ， 包 含 











请 求 ， 仅 返 


6.3 第 2 天 : 


在 CouchDB 中 ， 














该 新 建文 档 的 附件 。 


回 


创建 /查询 视图 














你 
个 文本 文档 作为 附件 。 


6.3 














第 2 天 : 


创建 /查询 视 





_ ia I 
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你 指定 。 














执行 一 个 cURL 


























区 














对 数据 库 ， 











通过 视 








的 文档 一 探究 竞 。 

























































































总 体 而 言 ， 视 





























名 


是 访问 文档 的 















































主要 方式 ， 但 是 也 不 排除 某 些 相对 琐碎 的 场景 一 一 比如 ， 我 们 在 第 1 天 看 到 的 那些 单独 的 
CRUD 操作 。 人 今天， 我们 会 探索 如 何 编号 一 个 创建 视图 的 函数 。 同 样 ， 我 们 也 会 学 习 如 何 
通过 cURL 执行 视图 的 自由 定义 的 查询 。 最 后 , 我 们 将 导入 music 数据 ,以 使 视图 更 为 “ 夺 
目 ” 并 演示 如 何 使 用 couchrest 一 种 与 CouchDB 协同 工作 的 Ruby 库 )。 
6.3.1 通过 视图 访问 文档 

视图 包含 映射 与 规约 函数 ,它们 用 于 生成 有 序 的 键 - 值 对 列表 。 键 或 者 值 都 可 以 是 任何 
合法 的 JSON。 最 为 简单 的 视图 称 为 _al1_docs， 它 会 倾 整个 数据 库 而 出 ， 每 个 文档 都 会 
有 对 应 的 条 目 ， 且 条 目 以 字符 串 形 式 的 _id 为 键 值 。 




















要 检索 数据 库 中 的 全 部 内 容 ， 可 通过 发 送 GET 请 求 获取 _al1_docs 视图 。 











$ curl http://localhost:5984/music/ all docs 


{ 


"total rows" 
"offset":0， 
"roOwSy :Lt 
TY id" : TY 
"key": 
"value":{ 


"re 
} 
j] 
} 


SE 


74c7a8d2a8548c8b97da748f43000ac4", 
"74c7a8d2a8548c8b97da748f£f43000ac4", 


v":"4-93al01178ba65f6led39e60d70c9fqd97" 





你 可 以 在 如 上 所 示 的 输出 中 ， 看 
包含 以 若干 行为 元 素 的 数组 ( 即 rows 数组 )。 而 





个 JSON 对 象 ， 








看 到 目 











前 为 1 











上 所 创建 的 文档 。 





得 到 的 响应 其 实 是 一 








和 在 


每 行 正 是 包含 人 


个 域 
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的 对 象 。 


。 id 是 文档 的 _iaq。 
。 key 是 映射 规约 函数 生成 的 JSON 键 。 
。 value 是 对 应 的 JSON 值 ， 也 是 通过 映射 规约 生成 的 。 




















在 _all_docs !! 
相同 。 

















而 


， 两 者 几乎 从 不 














，id 和 key 的 域 是 一 致 的 ， 但 是 对 于 自 定 义 的 视 




















视图 的 默认 行为 是 ， 不 会 在 返回 值 中 包含 每 个 文档 的 全 部 内 容 。 若 想 检索 文档 的 全 部 
域 ， 就 得 增加 URL 参数 include_docs=true。 


I 




















$ curl http://localhost:5984/music/ all docs?include docs=true 


有 


"offset":0， 


nrOWS [Et 


"id":"74c7a8d2a8548c8b97da748f43000ac4", 
"key":"74c7a8d2a8548c8b97da748f£f43000ac4", 


"value":{ 


"rev":"4-93al01178ba65f6led39e60d70c9fqd97" 


jy 


doe 


"_ id":"74c7a8d2a8548c8b97da748f£f43000ac4", 
"_rev":"4-93al01178ba65f6led39e60d70c9fqd97", 








"name":"The Beatles", 
"albums":[{ 
"title":"Help!", 
"year":1965 
’ 
"title":"Sgt. Pepper's Lonely Hearts Club Band", 
"year":1967 
’ 
"title":"Abbey Road", 
"year":1969 



































于 是 ， 你 能 在 输出 的 对 象 中 看 到 属性 name 与 albums 。 对 视图 的 基本 结构 有 了 概念 ， 








我 们 着 手 建立 自己 的 视图 。 








多 
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6.3.2 ”编写 你 的 第 一 个 视图 











既然 我 们 对 视图 有 了 粗略 的 了 解 ， 不 妨 尝试 创建 我 们 自己 的 视图 。 作 为 开始 ， 我 们 会 
复制 _all_qdocs view 的 行为 ， 然 后 ， 我 们 会 更 进一步 ， 创 建 复杂 的 视图 ， 从 我 们 的 文 
档 提 取 更 深层 的 信息 并 做 索引 。 


如 何 生成 临时 视图 呢 ? 就 像 我 们 在 第 1 天 所 做 的 操作 ， 打 开 浏 览 器 ， 指 向 Futon 。 然 
后 ， 点 击 链接 ， 打 开 music 数据 库 。 在 music 数据 库 的 页 面 中 ， 从 右上 角 的 View 下 拉 荣 单 
中 ， 选 择 “Temporary view...”。 你 应 该 束 能 看 到 类 似 图 6-5 的 页 面 。 


左 侧 的 Map Function 输入 框 中 的 代码 看 起 来 如 下 : 







































































Wa 
































function(doc) { 
emit (null, doc); 














ocument Jump to: View: | Temporary view... v Stale views 三 
pact & Cleanup © Delete Database 
了 View Code 
unction(doc) { 
emit(null, doc); 
| 
Run Language: ascript 了 = Save As... 


Warning: Please note that temporary views are not suitable for use in production, as they are really slow for any 
database with more than a few dozen documents. You can Use a temporary view to experiment with view 
functlons, but Switch to a permanent view before using them In an application. 











图 6-5”CouchDB Futon: 临时 视图 








若 点 击 Map Function 下 的 Run 按钮 ，CouchDB 会 为 数据 库 中 的 每 个 文档 执行 一 次 这 个 函 
数 ， 每 次 都 会 将 当前 文档 作为 参数 goc 传 入 。 这 个 过 程 会 生成 一 个 单行 的 表 ， 如 下 所 示 : 



































null {_1d: "74c7a8d2a8548c8b97da748f43000ac4"，rev: "4-93a101178ba65f61ed39e60d70c9fd97"， 


name: "The Beatles", albums: [{title: "Help!", year: 1965}, {title: "Sgt. Peppers Lonely Hearts 
Club Band", year: 1967}, {title: "Abbey Road", year: 1969}]} 





! http://localhost:5984/_utils/ 
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数 可 以 对 某 个 特定 的 文档 调用 emit i 
映射 函数 就 发 布 了 键 - 
值 则 与 第 1 天 直接 用 cURL 请 


要 编写 一 个 与 _all_docs 作 
_all_docs 发 布 文档 上 


一 点 ， 修 改 Map 函数 的 代码 为 以 下 


第 6 章 


CouchDB 


这 个 输出 或 者 所 有 视图 的 秘密 就 在 于 名 为 emit () 的 函数 〈 它 与 MongoDB 中 的 同名 
函数 起 相同 的 作用 )。emit 函数 有 两 个 参数 ， key 和 value。 一 个 给 定 的 映射 (map ) 郴 



















































































昌 表 里 看 至 












































同 











相同 的 上 


的 _id 域 作为 key， 仅 包含 





里 器 


_rev 域 的 简单 


一 个 。 





9 需要 适当 





的， 





函数 一 次 、 多 次 或 者 根本 不 调用 。 士 
值 对 nul1/dqoc。 正 如 我 们 在 输 昌 
青 求 所 获得 的 对 象 是 








当 修 改 emit 也 
































尺码 ， 然 后 单 击 Run 按钮 。 





E 前 
键 的 确 是 null， 而 











面 的 实例 ， 


~ 

















数 。 记 得 吗 ? 


对 象 作 为 value。 明 确 了 这 





function(doc) { 
emit (qoc. id, 


} 





» ‘dec: 


_rev }); 































































































现在 ， 输 出 应 该 类 似 于 下 面 这 张 表 ， 与 我 们 先前 通过 _all_qdocs 枚 举 记录 时 ， 所 看 
到 的 键 - 值 对 一 样 : 
键 值 
null {rev: "4-93al01178ba65f6led39e60d70c9fd97"} "74c7a8d2a8548c8b97da748f43000ac4" 
注意 , 未 必要 用 Futon 生成 临 时 视图 。 可 以 向 _temp_view 处 理 程序 发 送 POST 请 求 。 
在 这 个 实例 中 ， 把 修改 过 的 map 函数 作为 JSON 对 象 ， 放 到 请 求 体 中 即 可 。 
$ curl -xX POST \ 
http://localhost:5984/music/ temp view \ 
-有 "Content-Type: application/json" \ 
-d '{"map":"function(doc) {emit (doc. id, {rev:doc. rev});}"}' 
{ 
total EOwWS eT, 
"offset":0， 
nrows" s(t 
"id":"74c7a8d2a8548c8b97da748f43000ac4", 
"key":"74c7a8d2a8548c8b97da748f£f43000ac4", 
"Value" :1{ 
"rev":"4-93al01178ba65f61led39e60d70c9fqd97" 
} 
}] 
} 
于 是 ， 取 得 的 响应 与 从 _all_docs 获得 的 完全 一 样 。 但 是 ， 如 果 增 加 参数 





include_docs=true， 义 会 怎样 呢 ? 我 们 一 起 试 试看 。 





$ curl -X POST \ 
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http://localhost:5984/music/ temp view?include docs=true \ 
-H "Content-Type: application/json" \ 


-d '{"map":"function(doc) {emit (doc. id, {rev:doc. rev});}"}' 


total POWSr 3 

"offset":0， 

"rows":[{ 
"id":"74c7a8d2a8548c8b97da748f£f43000ac4", 
"key":"74c7a8d2a8548c8b97da748f£f43000ac4", 
"value":{ 

"rev":"4-93al01178ba65f6led39e60d70c9fqd97" 
}, 
Vdd 
"_ id":"74c7a8d2a8548c8b97da748f£f43000ac4", 
"_rev":"4-93al01178ba65f6led39e60d70c9fqd97", 
"name":"The Beatles", 


"Lbumse eid 














这 次 ， 其 他 的 域 并 没有 添加 到 value 对 象 中 ， 而 把 一 个 名 为 aoc 的 单独 属性 加 入 到 
row 中 ， 包 含 了 完整 的 文档 。 


定制 视图 可 以 发 布 任何 数据 ， 甚 至 null。 提 供 一 个 单独 的 doc 属性 ， 可 以 防止 row 
的 值 与 文档 相 混淆 。 下 一 步 将 讨论 如 何 保 存 视 图 ， 以 便 CouchDB 对 结果 进行 索引 。 
































































































































6.3.3 ”将 视图 另存 为 “设计 文档 ” 




















当 CouchDB 生成 临时 视图 时 ， 它 必须 为 数据 库 中 的 每 个 文档 ， 执 行 赋 有 的 映射 函 
数 。 这 极其 耗费 资源 ， 占 用 大 量 的 计算 力 ， 并 且 十 分 耗 时 。 所 以 ， 只 有 出 于 开发 目的 ， 
才 应 该 使 用 临时 视图 。 对 于 实际 的 产品 环境 ， 应 当 把 视图 存储 在 “设计 文档 ”(design 


document) 中 。 






























































“设计 文档 ”是 数据 库 中 实际 存在 的 文档 ， 正 如 早 前 创建 的 Beatles 文档 。 于 是 ， 它 可 
以 显示 在 视图 中 ， 也 能 以 常用 方式 复制 到 其 他 CouchDB 服务 器 中 。 在 Futon 中 ， 将 临时 视 
图 另存 为 “设计 文档 ” 只 需 单 击 Save As... 按 钮 ,然后 填写 Design Document 与 View Name 
输入 框 。 































































































“设计 文档 ”的 ID 总 是 以 _qaesign/ 开 头 ， 并 且 包 含 一 个 或 者 多 个 视图 。 视 图 的 名 字 
则 必须 与 同一 个 “设计 文档 ”中 的 其 他 视图 不 同 。 而 决定 哪个 视图 属于 哪个 “设计 文档 ”， 
主要 取决 于 特定 的 应 用 程序 以 及 看 问题 的 角度 。 一 般 来 说 ， 你 该 关注 视图 对 你 的 数据 做 了 
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什么 操作 ， 以 此 判断 是 否 将 视图 分 组 。 随 着 创建 更 多 有 意思 的 视图 ， 我 们 会 看 到 一 些 相关 





的 例子 。 


6.3.4 由 Name 查找 Artists 
































既然 有 了 创建 视图 的 基础 ， 我 们 不 妨 开发 一 个 适用 于 某 个 应 用 的 视图 。 记 得 music 





























数据 库 吗 ? 它 存 储 音 乐 家 的 信息 ,包含 一 个 描述 乐队 名 的 na 


















































me 域 。 使 用 普通 的 GET 方法 
































或 者 _all_qdocs view 视图 ， 可 以 通过 其 _ia 值 访问 文档 ， 但 是 更 让 人 感 兴趣 的 是 通过 


























name 域 查 询 乐 队 。 























换 句 话说 ,今天 我 们 已 经 可 以 通过 条 件 _iq 等 于 74c7a8d2a8548c8b97da 
748f43000ac4 来 查找 文档 ,但 是 如 何 由 name 等 于 The Beatles 进行 查找 昵 ， 为 此 ， 需 要 

















一 个 视图 。 在 Futon 里 ， 回 到 Temporary View 页 面 ， 输 入 以 下 Map 函数 代码 ， 然 后 点 








Run 按钮 。 





DT 





couchdb/artists by name mapper.js 
function(doc) { 
if ('name' in doc) { 
emit (doc.name, doc. id) ; 
} 
} 








这 个 函数 检查 当前 文档 是 否 有 name 域 , 如 果 有 ， 就 发 布 其 name 域 与 这 个 文档 的 _id 
































作为 键 - 值 对 。 这 将 生成 一 张 表 ， 如 下 所 示 : 

















一 一 一 入 一 一 一 一 一 一 一 一 各 一 一 一 一 一 





"The Beatles" "74c7a8d2a8548c8b97da748f43000ac4" 
























































View Name。 单 击 Save 按钮 保存 修改 。 








6.3.5 由 mname 查找 albums 








通过 name 查找 artist 相当 有 用 ， 但 是 这 还 不 够 。 现 在 ， 我 们 要 建立 一 个 视图 




















于 碍 找 albpum。 这 会 是 映射 函数 为 每 个 文档 发 布 多 个 结果 的 多 








一 次 尝试 。 














再 次 返回 Temporary View 页 面 ， 然 后 输入 以 下 映射 器 。 








， 可 以 月 


单 击 Save As... 按 钮 ， 再 单 击 Design Document， 输 入 artists， 然 后 输入 by name 作为 





上 





couchdb/albums by _ name mapper.js 





时 
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function(doc) { 
if ('name' in doc && ‘albums' in doc) { 


doc.albums.forEach (function (album) { 


var 
key = album.title || album.name, 
value = { by: doc.name, album: album }; 


emit (key, value); 
}); 























该 函数 检查 当前 文档 是 否 含有 name 与 albums 域 。 如 果 有 ， 则 为 每 张 album 发 布 一 
仆 键 - 值 对 ， 其 中 键 为 album 的 title 或 者 name， 值 为 一 个 复合 对 象 一 一 包含 artist 的 name 
与 原始 的 album 对 象 。 这 会 生成 如 下 所 示 的 表 : 















































键 值 
"Abbey Road" {by: "The Beatles", album: {title: "Abbey Road", year: 1969}} 
"Help!" {by: "The Beatles", album: {title: "Help!", year: 1965}} 





"Sgt. Peppers Lonely Hearts | {by: "The Beatles", album: {title: "Sgt. Peppers Lonely HeartsClub Band", 
ClubBand" year: 1967}} 








正如 我 们 对 Artist By Name 视图 做 的 操作 ， 点 击 Save As... 按 钮 。 这 次 对 于 Design 
Document 输入 albums， 而 对 于 View Name 输入 by_mame。 点 击 Save 按钮 保存 修改 。 现 在 
来 看 看 如 何 查询 这 些 文档 。 











6.3.6 ”查询 自 定 义 的 Artist 与 Album 视图 








既然 我 们 已 经 保存 了 两 个 自 定 义 的 “设计 文档 ” 现在 就 该 回 到 命令 行 , 用 curl 命令 
查询 它们 。 不 妨 从 Artists By Name 视图 开始 ， 执 行 如 下 命令 : 

















$ curl http://localhost:5984/music/ design/artists/ view/by name 
{ 
让 
"oftaet sO 
nrOwWS Et 
"id":"74c7a8d2a8548c8b97da748f43000ac4", 
"key":"The Beatles", 
"value":"74c7a8dq2a8548c8b97qa748f43000ac4" 
}] 
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查询 视图 ， 需 要 构造 这 样 的 路 径 /<qatabase_name>/_dqesign/<design_ doc>/_ 
view/<view_ name>， 替 代 相 应 的 部 分 即 可 。 在 该 实例 中 ， 在 music 数据 库 的 
artists“ 设 计 文档 ”中 ， 查 询 by_name 视图 。 意 料 之 中 ， 输 出 包含 了 一 个 文档 ， 以 


下 一 步 ， 试 着 查找 Albums By Name 视图 : 





























人 








tH 











$ curl http://localhost:5984/music/ design/albums/_ view/by name 


"total rows":3, 

"offset":0， 

"rows":[{ 
"id":"74c7a8d2a8548c8b97da748f43000ac4", 
"key":"Abbey Road", 


"value":{ 
"by":"The Beatles", 
"album st 
"title":"Abbey Road", 
"year":1969 


} 

}1 dl 
"id":"74c7a8d2a8548c8b97da748f£f43000ac4", 
"key":"Help!", 

"value":{ 
"by":"The Beatles", 
"album":{ 
"title":"Help!", 
"year":1965 


} 


] 1{ 
"id":"74c7a8d2a8548c8b97da748f£f43000ac4", 
"key":"Sgt. Pepper's Lonely Hearts Club Band", 


"value":{ 
"by":"The Beatles", 
nalbum" st 
"title":"Sgt. Pepper's Lonely Hearts Club Band", 
"year":1967 

















CouchDB 会 保证 记录 以 所 发 布 的 键 的 字母 顺序 呈现 。 实 质 上 ， 这 就 是 CouchDB 提供 
的 索引 。 在 设计 视图 时 ， 选 择 发 布什 么 键 尤为 重要 ， 因 为 这 会 决定 进行 排序 的 依据 。 
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以 这 种 方式 请 求 视图 会 返回 整个 数据 聚合 ， 但 是 ， 如 果 我 们 只 想 要 一 个 子 集 呢 ? 一 种 
方法 是 使 用 URL 参数 key。 指 定 key 后 ， 只 有 完全 匹配 的 行 才 会 返回 。 















































An 


curl 'httP://Localhost :5984/music/_design/albums/_view/by_name?key="HelP!"' 


"total rows":3, 
人 
"rows":[{ 
"id":"74c7a8d2a8548c8b97da748f£f43000ac4", 
"key":"Help!", 
"value":{ 
"by":"The Beatles", 
"album": {"title":"Help!","year":1965} 
} 
}] 

















注意 响应 中 的 total_rows 与 offset 域 , total_rows 域 表 示 视 图 中 记录 的 总 数 ， 
不 只 是 这 个 请 求 所 返回 的 子 集 。offset 域 则 告诉 我 们 ， 在 全 部 记录 中 ， 第 一 条 记录 出 现 
位 置 。 基 于 这 两 个 数字 ， 以 及 rows 的 长 度 ， 我 们 能 够 计算 在 视图 中 在 该 位 置 前 后 还 有 多 
少 记 录 。 


请 求 视图 可 以 分 为 基于 key 参数 的 若干 种 方式 ， 但 要 在 实际 操作 中 演示 ， 我 们 需要 更 多 
数据 。 









































































































































6.3.7 ”使 用 Ruby 将 数据 导入 CouchDB 




















HH 


不 管 使 用 什么 数据 库 ， 导 入 数据 总 是 无 法 回避 的 问题 。CouchDB 也 不 例外 。 本 节 会 用 
Ruby 将 结构 化 数据 导入 music 数据 库 。 通 过 这 个 实例 ,你 会 看 到 如 何在 CouchDB 中 实施 
大 规模 的 数据 导入 ,同时 ,我们 也 将 得 到 一 个 很 棒 的 数据 池 ， 供 我 们 建立 进 阶 视图 时 使 用 。 


我 们 使 用 取 自 Jamendo.com〔 一 个 专门 提供 免费 授权 音乐 的 网 站 !) 的 音乐 数据 。 
Jamendo 以 结构 化 XML 的 形式 提供 所 有 的 艺术 家 、 专辑 以 及 曲目 的 数据 , 这 对 于 CouchDB 
这 样 的 面向 文档 的 数据 库 来 说 ， 再 理想 不 过 了 。 

翻 到 Jamendo 的 NewDatabaseDumps 页 面 *, 下 载 文件 dbdump_artistalbumtrack. 
xml .gz3， 这 个 压缩 文件 只 有 15MB。 人 解析 Jamendo 的 XML 文件 ， 需 要 用 到 1ibxm1-ruby 


gem。 


























































































































! http://www.jamendo.com/ 
2 http://developer .jamendo.com/en/wiki/NewDatabaseDumps 
3 http://img.jamendo.com/data/dbdump_artistalbumtrack.xml.gz 
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不 必 编 写 我 们 自己 的 Ruby-CouchDB 驱动 程序 ， 也 不 必 直 接 发 送 HTTP 请 求 ， 我 们 使 
用 的 是 一 个 颇 为 流行 的 名 为 couchrest 的 Ruby gem， 它 将 这 些 调用 转化 成 方便 使 用 的 
Ruby API。 我 们 只 会 使 用 API 中 的 某 些 方法 ， 但 是 如 果 你 想 继续 在 项 目 中 使 用 这 个 驱动 程 
序 ， 相 关 文 档 十 分 详细 。 




























































































在 命令 行 中 ， 安 装 必要 的 gem: 





$ gem install libxml-ruby couchrest 























就 像 我 们 在 第 4 章 中 对 数据 所 做 的 一 样 ,我 们 使 用 一 个 SAX 风格 的 解析 器 来 处 理 文档 ， 
当 数 据 从 标准 输入 进来 的 时 候 ， 按 顺序 搬入。 代码 如 下 : 























couchdb/import from jamendo.rb 
QD require 'rubygems' 
require 'libxml"' 
require 'couchrest'" 
include LibxML 
© class JamendoCallbacks 
include XML::SaxParser::Callbacks 


G@) def initialize() 


@db = CouchRest.database! ("http://localhost:5984/music") 


@count = 0 

Qmax = 100 # maximum number to insert 
@stack = [] 

Qartist = nil 


Qalbum = nil 
@track = mil 
@tag = nil 


@buffer = nil 
end 
@ def on start element (element,attributes) 
Case element 


when "artist' 
Qartist = { :albums => [] } 


! http://rdoc.info/github/couchrest/couchrest/master/ 





时 
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@stack.push Q@artist 

when 'album'"' 
Qalbum = { :tracks => [] } 
Qartist[:albums] .push @album 
@stack.push @album 

when 'track"' 
@track = { :tags => [] } 
Qalbum[:tracks] .push Q@track 
@stack.push Q@track 

when 'tag' 
@tag = {} 
Qtrack[:tags] .push Q@tag 
Qstack.push Q@tag 

when 'Artists', 'Albums', ‘Tracks', 'Tags'" 
# ignore 

else 
@buffer = [] 

end 

end 


© def on characters (chars) 
@buffer << chars unless Q@buffer.nil? 
end 


@ def on end element (element) 
Case element 
when ‘'artist' 


@stack.pop 
Qartist[' id'] = Qartist['id'] # reuse Jamendo's artist id for doc id 
Qartist[:random] = rand 


Q@db.save doc(Q@artist, false, true) 

Qcount += 1 

if !@max.nil? && Qcount >= Qmax 
on_ end document 


end 
if Qcount $ 500 == 

puts " #{@count} records inserted™" 
end 


when 'album', ‘track', 'tag' 
top = @stack.pop 


top[:random] = rand 
when 'Artists', 'Albums', 'Tracks', 'Tags" 
# ignore 
else 
if Qstack[-1] && Qbuffer 
Qstack[-1] [element] = Qbuffer.join.force encoding('utf-8') 


@buffer = nil 
end 
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end 
end 


def on end document () 
Puts "TOTAL: #{@Ccount} records inserted" 
exit (1) 

end 


end 
DD parser = XML: :SaxParser.io (ARGF) 


parser.callbacks = JamendoCallbacks.new 


parser.parse 














(D 作为 开始 ， 引 入 rupygems 模块 以 及 需要 的 某 些 gems。 























@) 使 用 LibXML 的 标准 方式 是 定义 回调 〈callback) 类。 这 里 定义 一 个 JamendoCall 
backs 类 ， 为 不 同 的 事件 〈events) 封装 SAX 处 理 程序 。 


@) 初始 化 阶段 ， 要 做 的 第 一 件 事 情 是 用 CouchRest API 连接 本 地 的 CouchDB 服务 器 ， 
然后 创建 music 数据 库 〈 如 果 原 本 不 存在 music 数据 库 )。 之 后 ， 设 置 一 些 实例 变量 ， 以 
便 在 解析 时 存储 状态 信息 。 注 意 ， 如 果 把 参数 @max 设置 为 nilj， 那 么 所 有 文档 都 会 导入 ， 
而 不 是 前 100 个 文档 。 


@@ 一 旦 开始 解析 ，on_start_element () 方 法 会 处 理 任何 开始 标签 。 这 里 ,我们 会 
看 到 某 些 非常 有 趣 的 标签 ， 比 如 <artist>、<album>、<track> 以 及 <tag>。 特 别 地 ， 
我 们 会 忽略 某 些 容器 元 素 一 一 <Artists>、<Albums>、<T racks> 与 <T ags> 而 
对 于 其 他 元 素 ， 我 们 会 将 它们 作为 在 最 近 的 容器 项 上 设置 的 属性 。 


@) 解析 器 无 论 何 时 碰 到 字符 数据 ,都 会 将 它们 存 到 缓冲 区 中 ,以 便 作为 属性 加 到 当前 
的 容器 元 素 中 〈@stack 的 末尾 )。 


@ 在 on_end_element () 方 法 中 ， 有 许多 有 趣 的 东西 。 这 里 ， 通 过 将 当前 容器 元 素 
弹出 栈 , 来 将 它 关闭 。 如 果 标 签 变量 关闭 了 <artist> 元 素 , 就 能 用 方法 sdb .save_doc () 
将 文档 存 入 CouchDB 了 。 对 任何 容器 元 素 ， 也 会 增加 一 个 随机 属性 ， 其 中 包含 新 生成 的 随 
机 数 。 我 们 会 在 稍 后 随机 选择 曲 、 专 辑 和 艺术 家 时 用 到 它 。 


@ Ruby 的 ARGEF 流 会 结合 标准 输入 与 任何 在 命令 行 中 指定 的 文件 。 我 们 将 ARGF 流 
定向 到 LibXML， 并 指定 JamendoCallbacks 类 的 实例 ， 处 理 这 些 标记 一 一 开始 标记 、 
结束 标记 以 及 字符 数据 。 


把 解压 后 的 XML 和 










































































































































































































































































































































































Ey 








道 连接 到 这 个 导入 脚本 ， 就 可 以 运行 脚本 了 。 

















了 0 





$ zcat dbdump artistalbumtrack.xml .gz | ruby import from jamendo.rb 





时 
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TOTAL: 100 records inserted 











当 输 入 完毕 ， 回 到 命令 行 ， 我 们 可 以 看 到 新 的 视图 。 首 先 ， 查 询 一 些 艺 术 家 。URL 参 
数 1imit 规定 了 我 们 希望 返回 的 文档 数目 。 



































$ curl http://localhost:5984/music/ design/artists/ view/by name?1limit=5 
"total rows":100,"o0offset":0,"rows":[ 

TOTO0255T MEET NT NTATILCNINT YN Tyalue™. "370255T); 

niancsn353262 "Key"*"l0centSunday, "value: "353262"}; 

Wid":"367150", "key":"abdielyromero", "value":"367150"}, 

Wid":"276", "key":"AdHoc", "value":"276"}, 

"id":"364713", "key":"Adversus", "value":"364713"} 

} 


























上 个 请 求 查询 了 artists 列表 中 很 靠 前 的 文档 。 要 跳 到 列表 中 间 的 位 置 ， 可 以 使 用 
startkey 参数 : 




















$ curl http://localhost:5984/music/ design/artists/ view/by_name?\ 
limit=5\&gstartkey=%22C%22 

total owes "sioQ, Forftsebts ?ls OW 

"id":"340296", "key":"CalexB","value":"340296"}, 

"id":"353888", "key":"carsten may", "value":"353888"™}, 

id" e272 key MOCOhroma "vealue en 2 /2 

"id":"351138", "key":"Compartir D\u00f3na Gustet","value":"351138"}, 
"id":"364714", "key":"Daringer", "value":"364714"} 

} 





























上 面 这 条 命令 ， 从 首 字 母 为 C 的 艺术 家 开始 。 而 指定 endkey 参数 ， 则 提供 了 另 一 种 
限制 返回 内 容 的 方式 。 这 里 限定 只 查询 首 字 母 在 C~D 之 间 的 艺术 家 。 

































































$ curl http://localhost:5984/music/ design/artists/ view/by_name?\ 
startkey=%22C%22\&gendkey=%22D%22 

{"total rows"*100, "otfset :16 "rows™.:{ 

{"id":"340296", "key":"CalexB", "value":"340296"}, 

1"id" T3538088 "kev :oarsten my " value nD TT, 

{rid 2/2 "Key "Chroma value™: 22"} 

{"id":"351138", "key":"Compartir D\u00f3na Gustet","value":"351138"} 
] } 





要 获取 反 序 的 记录 ， 可 以 使 用 URL 参数 descending。 当 然 ， 记 得 交换 参数 
startkey 与 endqkevy。 





$ curl http://localhost:5984/music/ design/artists/ view/by name?\ 
startkey=%22D%22\gendkey=%22C%22\&descending=true 
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{ 
{ 
{ 
{ 
] 


} 


total rows™ silo Tofftsetr 16 "OWST | 
id":"351138", "key":"Compartir D\u00f3na Gustet","value":"351138"}, 


m 
m 
WU ey Cnrom Val 2 2 
m 
m 


id":"353888","key":"carsten may", "value":"353888"}, 
id":"340296", "key":"CalexB", "value":"340296"} 





项 | 长 





的 规约 部 分 。 我 们 


























还 有 很 多 其 他 的 URL 参数 , 可 用 于 修改 视图 请 求 ; 这 里 介绍 的 是 最 常见 也 最 常 








6.3.8 第 2 天 总 结 

















今天 介绍 了 一 些 有 意思 的 话题 。 我 们 学 习 了 妇 




































































的 一 











。URL 参数 中 ， 有 些 必须 与 分 组 (grouping) 一 起 使 用 ， 而 这 出 自 CouchDB 映射 规约 视 
将 在 明天 探索 这 部 分 内 容 。 


I 何在 CouchDB 中 创建 基本 视图 , 并 保存 





到 “设计 文档 ” 还 探索 了 查询 视图 的 多 种 方式 ， 以 获得 某 些 经 过 索引 的 数据 。 而 通过 使 用 


Ruby 与 名 为 couchrest 
] 之 后 创建 的 视图 。 展 望 明天 ， 我 们 会 创建 更 高 级 的 视图 
方式 则 是 引入 规约 器 (reducer) 


我 介 


















































1. 我 们 知道 emit() 方 法 能 够 输出 字符 串 类 型 的 
发 布 一 个 作为 键 的 数组 ， 又 会 如 何 ? 


2. 寻找 一 组 可 用 于 请 求 视图 的 URL 参数 (就 像 iimit 与 startkey)， 并 了 解 其 用 途 。 
































实践 


1. 导入 脚本 import from jamendo.rb 会 为 每 个 artist 增加 一 个 random 属性 


其 中 键 就 是 随机 数 ， 值 则 是 band 的 名 字 。 根 据 以 上 





机 数 。 创 建 映射 函数 会 发 布 键 - 值 对 ， 




















述 ， 新 建 视 






































图 artist 并 保存 到 名 为 _design/random 的 “设计 文档 ” 


6.4 第 3 天 : 进 阶 视图 、Changes API 以 及 复制 数据 


在 第 1 一 2 天 ， 我 们 学 习 了 如 何 执 行 基本 的 CRUD 操作 ， 以 及 与 视图 交互 查找 数据 。 











全 











会 站 





JavaScript 编写 一 些 Nodejs 应 月 





基于 这 些 经 验 ， 今 天 我 们 会 更 深入 了 解 视 图 ， 解 析 


月， 以 运用 Cou 





映射 规约 架构 的 规约 部 分 。 之 后 
chDB 独特 的 Changes API。 最 后 

















将 讨论 复制 数据 ， 以 及 CouchDB 是 如 何 处 理 数据 冲突 的 。 


的 流行 gem， 我 们 成 功 导 入 了 结构 化 数据 ， 并 用 这 些 数 据 支撑 了 
， 扩 展 已 有 的 这 些 知识 点 ， 而 
首 使 用 其 他 CouchDB 支持 的 API。 


键 。 其 他 数据 类 型 ， 是 否 支 持 呢 ?你 若 














FE， 以 分 配 随 








， 我 们 


， 我 们 
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6.4.1 用 规约 器 创建 进 阶 视图 


























基于 映射 规约 的 视图 为 我 们 提供 了 方法 ， 让 我 们 能 够 驾驭 索引 以 及 聚合 工具 
(aggregation facility)。 在 第 2 天 ， 所 有 的 视图 都 上 只 包含 映射 器 (mapper)。 现 在 ， 加 入 规约 
器 〈reducer)， 对 前 一 天 导入 的 Jamendo 数据 ， 开 发 新 的 功能 。 




































































Jamendo 数据 的 一 大 优点 是 其 可 供 挖掘 的 深度 。 艺 术 家 有 专辑 ， 专 辑 有 曲目 。 曲 目 ， 
又 有 包括 标签 在 内 的 属性 。 我 们 会 将 注意 力 转移 到 标签 ， 看 看 能 否 编写 一 个 收集 标签 并 计 
数 的 深入 化 的 视图 。 


首先 ， 回 到 Temporary View 页 面 ， 然 后 输入 如 下 的 map 函数 : 










































































couchdb/tags by name mapper.js 
function(doc) { 


(doc.albums || []).forEach (function (album) { 
(album.tracks || []).forEach (function (track){ 
(track.tags || []) .forEach (function (tag) { 


emit (tag.idstr, 1); 























该 函数 挖掘 了 artist 文档 ,深入 到 每 张 专辑 ,每 首 曲 上 日， 最 后 触及 每 个 标签 。 而 对 每 个 
标签 ， 它 发 布 了 键 - 值 对 ， 其 中 ， 键 为 标签 的 iqstr 属性 (标签 的 字符 串 形式 的 表示 ， 如 
“rock”)， 值 为 数值 1。 


有 了 map 函数 ， 在 Reduce Function 中 输入 如 下 代码 : 







































































couchdb/simple count reducer.js 
function(key, values, rereduce) { 
return sum(values); 


} 














这 段 代 码 的 作用 仅仅 是 计算 值 列表 中 数字 的 总 和 一 一 运行 视图 后 ， 马 上 会 讨论 这 个 话 
题 。 最 后 ， 点 击 Run 按钮 。 输 出 应 该 如 下 所 示 : 












































键 值 
"17Ssonsrecords " 1 
"l17sonsrecords" 1 
"17sonsrecords" 1 





"17sonsrecords" 1 
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键 值 
"17sonsrecords" 1 
"acid" 1 
"acousticguitar" 1 
"acousticguitar" 1 
"action" 1 
"action" 1 
运行 结果 在 意料 之 中 。 正 如 我 们 在 mapper 函数 中 所 见 ， 值 总 是 1; 而 键 则 重复 出 现 若 
干 次 ， 其 次 数 与 该 标签 用 于 曲目 的 数目 一 致 。 
注意 了 ， 输 出 表 右 上 角 有 个 Reduce 复 选 框 。 选 中 它 ， 再 看 看 输出 表 。 现 在 ， 它 应 该 看 
起 来 如 下 所 示 
键 值 
"17sonsrecords" 5 
"acid" 1 
"acousticguitar" 2 
"action" 2 
"adventure" 3 
"aksband" 1 
"alternativ" 1 
"alternativ" 3 
"ambient" 28 
"autodidacta" 17 
这 是 怎么 回 事 ? 简 而 言 之 , 规约 器 通过 合并 将 输出 规约 了 , 比如, 依据 Reducer Function 
合并 映射 行 。 从 概念 上 来 看 ，CouchDB 上 映 射 规约 引擎 与 我 们 之 前 所 见 的 其 他 映射 规约 器 无 


异 ( 见 3.3.2 节 和 5$.3.4 节 
建立 一 个 视图 所 采取 步骤 妇 





















































(以 及 Finalize))。 这 里 ， 我 们 特别 从 较 高 层次 概括 了 CouchDB 
I 下 


(1) 将 文档 发 送 给 映射 函数 ; 
(2) 收集 所 有 发 布 的 值 ; 

















(3) 





民 据 键 ， 将 发 布 的 行 排序 ; 


(4) 将 键 相同 的 各 行 发 送 给 规约 函数 ; 
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(5) 如 果 试 图 在 一 次 调用 中 完成 全 部 规约 ， 数 据 可 能 会 多 到 无 法 处 理 ， 这 时 ， 可 以 骨 
次 调用 规约 函数 ， 当 然 ， 该 次 调用 处 理 的 是 上 次 规约 的 结果 ; 


(6) 重复 递归 调用 规约 函数 ， 直 到 没有 重复 的 键 。 


CouchDB 中 的 规约 函数 有 三 个 参数 : key、values 以 及 rereduce。 第 一 个 参数 ， 
(key)， 是 以 元 组 (tuple) 为 元 素 的 数组 一 一 元 组 包含 : 映射 器 发 布 的 键 ， 以 及 生成 这 个 键 
的 文档 的 _iq。 第 二 个 参数 (values)， 是 由 值 所 组 成 的 数组 ， 这 些 值 对 应 于 第 一 个 参考 
中 的 键 。 
第 三 个 参数 ，(rereduce)， 是 一 个 布尔 值 。 如 果 该 次 调用 是 规约 的 规约 ， 则 该 值 为 
true。 也 就 是 说 ， 除 了 接收 映射 器 发 布 的 键 与 值 ， 还 接收 上 次 规约 器 调用 生成 的 结果 。 在 
这 种 情况 下 ， 参 数 key 会 是 null。 


































































































































































































6.4.2 ”规约 器 调用 详解 


让 我 们 看 一 个 实例 ， 该 例子 基于 我 们 刚才 看 到 的 输出 。 考 虑 文档 〈artists)， 其 中 
包含 了 标记 为 “ambient” 的 tracks。 映 射 器 作用 于 这 些 文档 ， 并 发 布 键 - 值 对 ， 形 如 


“ambient”/1 。 


茶 坚 时 候 ， 映 射 器 发 布 了 足够 多 的 键 值 对 ， 于 是 CouchDB 调用 规约 器 ， 如 下 所 示 : 
























































zequce ( 
[["ambient",idl],["ambient",id2],...], //key 剖 胃 语 
Bll ee //value 效 起 1 
false //rereduce 息 false, WMWEIINIMEI 


) 

















记得 吗 ? 在 规约 函数 中 ， 计 算 了 值 的 总 和 sum() 。 因 为 所 有 值 都 是 1， 所 以 这 里 
的 总 和 ， 实 际 是 标记 为 “ambient” 的 曲目 的 总 数 。CouchDB 会 保存 该 返回 值 ， 供 进一步 处 
里 。 对 于 这 例子 ， 把 这 个 总 数 计 为 10。 


稍 后 ， 等 待 CouchDB 执行 这 些 调用 若干 次 ， 就 会 通过 一 个 规约 的 规约 ， 合 并 中 间 规 约 
器 结果 : 

































































车 村 



































reducel( 
null, //key 六 NI null 
[10,10,8], //value 为 之 万 却 约 名 交 /W 稻 :1 


true //rereduce 为 true 
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规约 函数 再 次 对 values 调 

















j sum () 。 这 次 ，values 的 和 为 28。 规 约 器 调用 可 以 











是 递归 的 。 只 要 有 


八 女 
个 值 。 









































大 多 数 映 黎 
的 ， 都 会 在 工作 结 

















规约 系统 ， 包 括 其 他 数据 库 〈 如 本 书 讨论 过 的 Riak 与 MongoDB ) 所 使 用 
束 后 丢弃 映射 规约 的 输出 。 在 局 








规约 没有 完成 ， 就 会 一 直 继 续 下 去 ， 直 到 所 有 的 中 间 结 果 都 合并 成 一 


























8 些 系统 中 ， 把 映射 规约 视 为 获取 结果 的 














手段 一 每 当 有 和 需求 时 ， 训 





区 











一 旦 视 
档 发 生变 化 ， 中 间 数 据 不 再 
的 数据 更 正 映射 规约 的 中 间 结 
是 CouchDB 的 “和 天赋”。CouchDB 不 会 丢弃 ， 
的 索引 机 制 。 


















































四 
木 。 



































6.4.3 监控 CouchDB 的 变化 


CouchDB 的 增 量 式 映射 规约 无 疑 是 一 个 创新 的 特性 ; 
门将 探索 的 下 一 特性 是 Changes API。 这 个 接 





库 的 特性 之 一 。 我 1 
立刻 更 新 的 机 制 。 


Changes API 使 CouchDB 成 为 记录 系统 
从 各 处 流入 ， 而 其 他 系统 需要 时 时 保持 更 新 
关 例 子 会 包含 搜索 引擎 , 由 如 下 技术 或 者 项 
之 上 的 缓存 层 ， 或 者 Redis。 同 样 ， 你 也 可 能 

















《 

















要 








性 


。 今 天 ， 我 们 就 来 学 习 如 何 利 用 它 。 

















要 执行 ， 每 次 都 要 从 头 开 始 。 而 CouchDB 并 非 如 此 。 

编码 为 “设计 文档 ” CouchDB 就 会 保存 映射 器 与 规约 器 的 中 间 值 ， 直 到 文 
有 效 。 这 时 ，CouchDB 会 增 量 地 运行 映射 器 与 规约 器 ， 为 更 新 
于 是 ，CouchDB 不 会 每 次 从 头 开始 ， 重 复 每 项 计算 。 这 






































间 数 据 值 ， 因 此 ， 能 够 以 映射 规约 作为 主要 




















这 是 CouchDB 区 别 于 其 他 数据 
提供 了 监控 数据 库 变化 并 









































的 完美 候选 。 设 想 有 一 个 多 数据 库 系统 ， 数 据 
事实 上 ， 我 们 会 在 8.4 节 讨 论 相 关内 容 )。 相 
支持 ;Lucene、ElasticSeach、 实现 于 memcached 
运行 不 同 的 维护 
执行 诸如 数据 库 压缩 或 者 远程 备份 的 任务 。 简 而 


二 本， 以 应 对 数据 变化 
言 之 ， 这 个 简单 的 API 带 来 了 无 穷 的 可 能 



















































































































































































为 使 用 这 个 API， 我 们 将 用 Node.js 开发 一 些 简单 的 客户 端 应 用 。Node.js!' 是 基于 V8 
JavaScript 引擎 的 服务 器 端 JavaScript 平台 一 一 Google 的 Chrome 浏览 器 使 用 的 就 是 V8。 由 
于 Nodejs 是 事件 驱动 的 ， 且 与 之 协同 工作 的 代码 是 JavaScript 编写 的 ， 因 此 ， 十 分 适合 乓 
CouchDB 整合 。 如 果 你 还 没有 Node.js， 浏 览 Node.js 的 网 站 ， 安 装 其 稳定 版 〈 我 们 使 用 的 
是 0.6 版 )。 

Changes API 有 三 种 : 轮 询 (polling)、 长 轮 询 〈long-polling) 以 及 连续 (continuous)。 


我 们 会 依次 讨论 每 一 项 。 与 往常 一 样 ， 我 们 会 先 使 用 cURL 小 试 里 手 ， 然 后 再 采 


方式 。 


! http://nodejs.org/ 
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1. 用 于 变更 的 cURL 


访问 Changes API 的 最 简单 方法 是 利用 轮 询 接 口 。 打 开 命 令 行 ， 尝 试 如 下 命令 (为 简 
单 起 见 ， 这 里 展示 的 是 输出 片段 ， 所 以 可 能 与 你 得 到 的 输出 所 有 不 同 ): 
























































$ curl http://localhost:5984/music/_changes 
{ 
results™ :Lt 
"seq":1, 
WLAN N370255 "> 
"changes":[{"rev":"1l-a7b7cc38d4130f0a5f3eae5d2c963d85"™}] 
},1 
VS 2 
te Re 
"changes":[{"rev":"1-2c7e0deec3ffca959pba0169b0e8bfcef"}] 
}11 
. 97 more records ... 
}11 
"seq":100, 
本 59099597 
"changes":[{"rev":"1-aa649aa53f2858cb609684320c235aee"}] 
}1, 
"last seq":100 








当 向 _changes 发 送 GET 请 求 ， 而 不 带 任何 参数 时 ，CouchDB 会 返回 它 所 能 提供 的 
全 部 。 正 如 访问 视图 ， 可 以 指定 参数 1imit， 以 请 求 数据 的 子 集 ， 而 添加 参数 
include_docs=true 会 使 响应 包含 完整 的 文档 。 


通常 ， 你 并 不 想 获取 从 最 初 算 起 的 所 有 变化 。 你 往往 更 希望 得 到 自 上 次 检查 后 所 发 生 
的 变化 。 为 此 ， 需 要 使 用 since 参数 。 



















































































$ curl http://localhost:5984/music/ changes?since=99 
{ 
"esuLtts el 
"seq":100, 
me T3790 
"changes":[{"rev":"1-aa649aa53f2858cb609684320c235aee"}] 
}]， 
"Last_sedqd":100 




















如 果 指 定 的 since 参数 值 大 于 最 后 的 序号 ， 就 会 得 到 一 个 空 的 响应 ; 











$ curl http://localhost:5984/music/_changes?since=9000 
{ 
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"results":[ 

a 

"Jast seq":9000 
} 





























使 用 这 个 方法 ， 客 户 端 应 用 会 定期 检查 ， 以 发 现 是 否 发 生 新 的 变化 ， 然 后 根据 不 同 的 
应 用 ， 采 取 不 同 的 行为 。 


如 果 你 跟踪 数据 的 更 新 ， 又 能 够 容忍 一 定 的 延迟 ， 那 么 轮 询 是 不 错 的 方案 。 如 果 数 据 
更 新 相对 较 少 ， 尤 其 适合 轮 询 。 比 如 ， 如 果 你 要 获取 博客 文章 ， 每 五 分 钟 轮 询 一 次 就 可 
以 了 。 

如 果 你 想 快 些 更 新 ， 又 没有 重新 打开 连接 的 开销 ， 那 么 长 轮 询 是 更 好 的 选择 。 当 
定 URL 参数 feed=longpoll 时 ，CouchDB 会 保持 连接 一 段 时 间 ， 等 竺 更新， 然后 
成 响应 。 试 试 下 面 的 命令 : 

















































































































古文 


























$ curl 'http://localhost:5984/music/_changes?feed=longpoll&gsince=9000' 
{restltest sl 








你 应 该 只 能 看 到 JSON 响应 的 开始 部 分 。 如 果 终 端 打开 足够 长 时 间 ，CouchDB 最 终 会 
关闭 连接 ， 以 此 作为 结束 : 














过 
"last seq":9000} 























从 开发 角度 看 ,编写 驱动 程序 ， 使 用 轮 询 监控 CouchDB 变更 ， 等 效 于 长 轮 询 。 本 质 的 
区 别 只 是 CouchDB 会 保留 连接 处 于 打开 状态 多 久 。 现 在 ， 不 妨 将 注意 力 放 到 编写 Node.js 
应 用 上 ， 以 监控 并 利用 数据 变化 订阅 内 容 。 

2.， 用 Node.js 轮 询 变化 
因为 Node.js 是 强大 的 事件 驱动 系统 ， 所 以 CouchDB 监控 亦 会 坚持 这 个 原则 。 无 论 
CouchDB 何 时 报告 文档 变化 ， 驱 动 程序 都 会 监控 订阅 与 发 布 的 变化 事件 。 首 先 ， 我 们 会 概 
览 这 个 驱动 程序 的 构架 ， 谈 论 它 的 主要 部 件 ， 然 后 填 入 订阅 的 具体 细节 。 


不 宜 迟 ， 以 下 就 是 监控 程序 的 框架 ， 以 及 关于 其 功能 的 简单 讨论 : 





























































































































山中 


tr 









































couchdb/watch changes skeleton.js 
var 
http = require('http'), 


events = require('events'); 


/** 


* create a CouchDB watcher based on connection criteria; 
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* follows node.js EventEmitter pattern, emits 'change' events. 
4 
(GD exports.createWatcher = function(options) { 


© Var watcher = new events.EventEmitter(); 


watcher.host = options.host | | 'localhost'; 
watcher.port = options.port | | 5984; 
watcher.last seq = options.last seq [| 0 
watcher.db = options.db | | b Useres's 

人 watcher.start = function(){ 


.等候 无 说 内 鼻 朱 颁 萝 
}; 


return watcher; 
}; 
//fFN EM AEA, HMM CouchDB Wf 


@ if (!Imodule.parent){ 
exports.createWatcher({ 
db: process.argv[2], 
last _ seq: process.argv[3] 
}) 
.on('change', console.1o0g) 
.on('error', console.error) 


start ths 
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(DD exports 是 由 CommonJS Module API (实现 了 Node.js) 提供 的 标准 对 象 。 为 
exports 增加 createWatcher () 方 法 ,使 它 能 够 用 于 其 他 Node.js 脚本 (这 些 脚 本 想 把 
exports 作为 类 库 使 用 )。options 参数 允许 调用 者 指定 希望 监控 的 数据 库 以 及 覆盖 其 他 









































的 连接 设置 。 














@) createWatcher () 方 法 生成 EventEmitter 对 象 ， 调 用 者 可 以 用 这 个 对 象 来 监 
听 变 化 事件 .EventEmitter 的 这 些 能 力 包 括 , 调用 on () 方法 可 以 监听 事件 , 调用 emit () 















































方法 可 以 触发 事件 。 














(@) watcher .start () 负责 发 送 HTTP 请 求 ， 以 监控 CouchDB 的 变化 。 当 文档 发 生 
变化 时 ， 监 控 器 会 发 布 相应 的 变化 事件 。 所 有 特定 于 订阅 内 容 的 实现 都 在 这 个 方法 内 。 


最 后 一 段 代码 定义 了 , 如 果 该 脚本 直接 从 命令 行 调用 , 会 做 些 什 么 。 在 这 个 例子 












































脚本 会 调用 createWatcher () 方法， 然后 在 返回 的 对 象 上 设置 监听 者 (监听 什么 ， 之 后 
做 什么 )， 并 把 结果 置 于 标准 输出 。 在 命令 行 中 ， 可 以 设置 连接 哪个 数据 库 ， 从 哪个 序号 
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ID 开始 。 

到 目前 为 止 ， 这 些 代码 中 没有 特定 于 CouchDB 的 内 容 ， 都 只 是 Node.js 的 实现 方式 。 
你 可 能 对 这 些 代码 感到 陌生 ， 尤 其 是 你 之 前 从 未 开发 过 事件 驱动 的 服务 器 技术 ， 然 而 ， 随 
着 本 书 的 进度 ， 我 们 会 越 来 越 多 地 使 用 这 项 技术 。 
有 了 实现 架构 之 后 , 不 妨 加 入 代码 , 通过 长 轮 询 与 发 布 事件 的 方式 , 连接 到 CouthDB。 
下 面 就 是 watcher .start () 方 法 内 的 代码 。 参 考 前 面 的 代码 结构 ， 所 完成 的 新 文件 名 为 


watch changes_longpolling.js。 





































































































couchdb/watch changes longpolling impl.js 
var 
@ http options = { 
host: watcher.host, 
port: watcher.port, 
path: 
'/' + watcher.db + '/ changes' + 
'?feed=longpoll&¢include docs=true&since=' + watcher.last seq 
}; 


© nttp.get (http options,function(res) { 
Var buffer = "'';} 
res.on('data', function (chunk) { 
buffer += chunk; 
}); 
res.on('end', function() { 
@® Var output = JSON.parse (buffer) ， 
if (output.results) { 
watcher.last seq = output.last seqg; 
output.results.forEach (function (change){ 
watcher.emit ('change', change); 
}); 
watcher.start ();} 
} else { 
watcher.emit ('error', output); 


}) 

}) 

.on('error', function(err) { 
watcher.emit ('error', err); 


}); 

















Q 这 个 脚本 所 做 的 第 一 件 事 情 就 是 在 请 求 中 设置 httP_options 配置 对 象 。path 
则 指向 我 们 用 过 的 相同 _changes URL ， 而 feedq 设置 为 1ongpoll， 


include_ docs=true。 
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@ 此 后 ， 脚 本 会 调用 http.get(0 一 一 Node.js 的 库 方法 ， 它 会 依据 设置 发 送 一 个 GET 请 











求 。 该 方法 的 第 二 个 参数 是 一 











回调 方法 ， 它 的 功能 是 收 到 一 个 HTTPResponse。 响 应 对 


象 会 发 布 data 事件 ， 作 为 传 回 的 内 容 ， 即 会 加 到 jpuffer 中 。 




















@@ 最 后 ， 当 响应 对 象 发 布 end 事件 ， 会 解析 缓冲 








(其 中 包含 JSON)。 由 此 ， 得 到 





























Xx 
新 的 last_seqg 值 ， 发 布 一 个 change 事件 ， 然 后 再 次 
下 一 次 数据 变化 。 








在 命令 行 模式 运行 这 个 脚本 ， 如 下 所 示 〔 简 洁 起 见 ， 





调用 watcher .start () ， 等 待 


息 取 了 输出 的 片段 ): 

















$ node watch changes longpolling.js music 
{ seq: 1, 
To: 370255u, 


changes: [ { rev: 'l-a7b7cc38d4130f0a5f3eae5d2c963d85"' } ]， 


doc: 
{™ Ed 5302951; 
_rev: '1-a7b7cc38d4130f0a5f3eae5d2c963d85', 
albums: [ [Object] ]， 
i 1 3702.55.% 


name: RTL 
url: 'http://www.jamendo.com/artist/ATTIC (3)', 
mbgid: '', 
random: 0.4121620435325435 } } 
{ seq: 2, 


id: 1370254!5 


changes: [ { rev: '1-2c7e0deec3ffca959ba0169b0e8bfcef' } ]， 


doc: 
{ -id 370254", 
_rev: '1-2c7e0deec3ffca959ba0169b0e8bfcef', 


. 98 more entries ... 











应 用 运行 良好 ! 为 每 个 文档 输出 一 条 记录 后 ， 进 程 会 继续 运行 ， 轮 询 CouchDB 之 后 的 








变化 。 


























可 以 随时 在 Futon 里 直接 修改 文档 ,或 者 在 import_from jamendo.rb 上 增加 @emax 





























值 ， 并 再 次 运行 。 你 会 看 到 在 命令 行 中 看 到 相应 的 变化 。 接 下 来 会 讨论 如 何 开 足 马力 ， 使 


























用 连续 的 事件 通知 ， 以 实现 更 快 的 更 新 。 





6.4.4 连续 监控 变化 











_changes 服务 提供 的 轮 询 与 长 轮 询 订阅 都 会 产生 正确 的 JSON 作为 结果 。 而 连续 
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的 订阅 有 所 不 同 单独 发 送 每 个 变化 并 保持 连接 处 于 打开 状态 ， 而 非 把 所 有 可 用 的 变化 
合并 到 一 个 results 数组 有 旦 随后 关闭 连接 。 在 这 种 方式 下 ， 一 旦 发 生变 化 ， 可 以 立刻 返 
回 更 多 JSON 序列 化 的 变化 通知 对 象 。 























要 想 知 道 其 工作 原理 ， 试 试 下 面 的 命令 〈 为 了 便于 阅读 ， 输 出 删 减 了 ): 








curl 'httP://Localhost :5984/music/_changes?since=97&feed=continuous' 

"seq":98,"id":"357999", "changes":[{"rev":"1-0329f5c885...87b39beab0"}]} 
"seq":99,"id":"357998","changes":[{"rev":"1-79c3fd2fe6...le45e4e35f"}]} 
"seq":100,"id":"357995", "changes":[{"rev":"1-aa649aa53f...320c235aee"}]} 


一 





最 后 ， 如 果 一 段 时 间 内 没有 变化 ，CouchDB 会 输 下 如 下 一 行内 容 ， 然 后 关闭 连接 ， 






































{"last seq":100} 





是 ， 








这 种 方式 优 于 轮 询 与 长 轮 询 的 地 方 在 于 ,减少 了 开销 ， 还 让 连接 保持 打开 状态 。 于 
不 会 损失 重建 HTTP 连接 的 时 间 。 另 一 方面 ， 输 出 不 是 单纯 的 JSON， 也 就 是 说 ， 























解析 要 麻烦 些 。 同 理 ， 如 果 客 户 端 是 Web 浏览 器 ， 就 会 有 问题 。 浏 览 器 会 异步 地 下 载 
订阅 ， 这 会 导致 无 法 获取 任何 有 效 数 据 ， 直 到 整个 连接 完毕 〈 这 种 情况 下 ， 使 用 长 轮 询 
更 好 )。 





















































过 滤 变 化 
正如 我 们 所 见 ，Changes API 提供 了 一 个 独特 的 方式 ， 让 我 们 能 够 参与 CouchDB 数据 


























库 正 在 发 生 的 事情 。 从 好 的 方面 看 ， 它 在 单个 数据 流 中 提供 了 所 有 的 变化 。 然 而 ， 有 时 你 






























































只 想 要 变化 的 某 个 子 集 ， 而 不 是 所 发 生 的 全 部 变化 。 比 如 ， 你 可 能 只 对 文档 删除 感 兴趣 ， 





或 许 ， 只 关注 某 些 特别 的 文档 。 这 时 ， 过 滤器 就 起 作用 了 。 



































过 滤器 有 这 样 的 功能 ， 以 某 个 文档 (或 者 请 求 信息 ) 作为 输入 ， 然 后 决定 该 文档 是 

















否 应 该 通过 过 滤器 。 通 过 与 否 ， 都 反映 在 返回 值 中 。 我 们 来 看 看 这 究竟 是 如 何 运作 的 。 
以 music 数据 库 为 例 , 插入 的 大 多 数 artist 文档 都 有 country 属性 , 该 属性 包含 一 个 三 
字母 的 编码 。 假 设 我 们 只 对 来 自 Russia (RUS) 的 乐队 感 兴 趣 。 过 滤器 看 起 来 会 像 下 面 


这 样 : 



































function(doc) { 
return doc.country === "RUS"; 


} 














如 果 将 这 个 函数 加 入 “设计 文档 ”的 filters 参数 中 ， 就 能 在 发 布 _changes 请 求 








的 时 候 使 用 该 函数 。 但 是 ， 在 这 么 做 之 前 ， 把 例子 做 一 番 扩 展 。 相 比 总 想 要 Russian 乐队 ， 
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更 好 的 做 法 是 将 其 参数 化 ， 这 样 country 就 能 在 URL 里 指定 了 。 











这 就 是 参数 化 country 属性 的 过 滤器 函数 : 
function(doc, req) { 
return doc.country === req.query.country; 











注意 ， 如 何 比 较 文 档 的 country 属性 与 作为 请 求 的 查询 串 传 入 的 同名 属性 。 要 看 一 
实例 ， 可 以 只 为 基于 地 理 位 置 的 过 滤器 ， 新 建 一 个 “设计 文档 ”并 添加 它 


























$ curl -X PUT \ 
http://localhost:5984/music/ design/wherabouts \ 
-H "Content-Type: application/json" \ 
-d '{"language":"javascript","filters":{"by country": 
"function(doc,req) {return doc.country === req.query.country;}" 
下 


"ok" :七 Tueyv 
"id":" design/wherabouts", 
"rev":"1-c08b557d676ab861957eaeb85b628d74" 





现在 ， 可 以 发 送 一 个 过 滤 country 变化 的 请 求 了 : 





$ curl "http://localhost:5984/music/_changes?\ 
filter=wherabouts/by countryg&\ 

country=RUS" 

{"results":[ 
{"seq":10,"id":"5987","changes":[{"rev":"1-2221be...a3b254"}]}, 
{"seq":57,"id":"349359", "changes":[{"rev":"1-548bde...888a83"}]}, 
{"seq":73,"id":"364718","changes":[{"rev":"1-158d2e...5a7219"}]}, 


























有 了 过 滤器 ， 你 就 能 设置 一 种 伪 分 片 机 制 ， 其 中 ， 只 有 一 部 分 记录 在 节点 之 间 复 制 。 

尽管 这 不 是 像 MongoDB 或 者 HBase 那样 的 真正 分 片 系统 ， 但 它 确实 将 处 理 某 些 请 求 的 职 
责 分 离 。 比 如 ， 主 CouchDB 服务 器 可 能 有 几 个 独立 的 过 滤器 ， 分别 用 于 用 户 、 订 单 、 消 息 
与 库存 。 单独 的 CouchDB 服务 器 能 够 基于 这 些 过 滤器 复制 变化 , 每 个 服务 器 支持 业务 的 不 
同方 面 。 
因为 过 滤器 函数 可 以 包含 任意 JavaScript,， 所 以 可 以 纳入 更 复杂 的 逻辑 。 测试 深层 散 套 
的 域 ， 与 我 们 在 创建 视图 时 所 做 的 类 似 。 也 能 使 用 正则 表达 式 测试 属性 或 者 进行 数学 比较 
(比如 ， 根 据 日 期 范围 过 滤 )。 在 请 求 对 象 中 ， 甚 至 有 user context 属性 (req.usercCtx)， 
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能 用 它 在 请 求 中 找到 类 似 用 户 名 、 密 码 这 样 的 信息 。 


第 8 章 再 次 讨论 Node.js 与 CouchDB 的 Changes API。 而 现在 ， 我 们 会 继续 下 去 ， 讨 
论 CouchDB 最 后 一 个 出 色 特 性 : 复制。 




















6.4.5 在 CouchDB 中 复制 数据 





CouchDB 是 一 个 关于 异步 环境 与 数据 持久 性 的 数据 库 。 按照 CouchDB, 存储 数据 最 安 
全 的 地 方 无 所 不 在 ,而 CouchDB 确实 提供 了 这 样 的 工具 。 我 们 看 过 的 一 些 其 他 数据 库 ， 维 
护 单个 主 节 点 以 保证 一 致 性。 其 他 的 某 些 数据 库 ， 则 通过 多 数 决议 节点 保证 一 致 性 。 
CouchDB 与 两 者 都 不 同 ， 它 支持 某 种 称 为 多 主 节 点 或 者 主 一 主 的 复制 方式 。 


每 个 CouchDB 服务 器 具有 一 样 的 能 力 ， 接 收 更 新 、 响 应 请 求 以 及 删除 数据 ， 而 这 
与 它 能 否 连接 到 其 他 服务 器 无 关 。 在 这 种 模型 中 , 数据 变化 选择 性 地 在 一 个 方向 上 复制 ， 
所 有 的 数据 都 以 同一 种 方式 复制 。 换 名 话说 ， 没 有 分 片 。 参 与 复制 的 服务 器 都 将 有 全 部 


复制 是 CouchDB 中 最 后 一 个 讨论 的 重要 主题 ,首先 会 讨论 如 何在 数据 库 间 配置 临 
连续 的 复制 。 然 后 ， 会 解决 数据 冲突 的 影响 ， 学 习 如 何 使 应 用 程序 以 优雅 的 方式 处 理 这 些 


案例 。 


作为 开始 ， 点 击 页 面 右 侧 Tools 菜单 中 的 Replicator 链接 ， 这 会 打开 一 个 如 图 6-6 
所 示 的 页 面 。 在 Replicate changes from 对 话 框 ， 从 左边 的 下 拉 菜 单 中 选择 music， 在 右 
边 输 入 music-repl。 取 消 勾 选 Continuous 复 选 框 ， 然后 点 击 Replicate 按钮 。 当 出 现 提 示 
时 ， 点 击 OK 按钮 创建 music-repl 数据 库 。 这 应 该 在 窗 体 下 面 的 事件 日 志 中 生成 一 
条 事件 消息 。 
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Replicator 
Replicate changes from: to: 
9% Local Database: | _replicator Y 本 9 Local database: 
oo 
J Remote database: http:// J Remote database: http:// 
Continuous | Replicate 
Event 


图 6-6 CouchDB Futon: Replicator 
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CouchDB 还 是 BigCouch 

CouchDB 的 方式 在 许多 用 例 中 是 合理 且 有 效 的 ， 这 无 疑 填补 了 我 们 讨论 过 的 其 他 数据 
库 所 不 能 解决 的 缺口 。 另 一 方面 ， 在 节点 之 间 选 择 性 地 复制 数据 是 很 棒 的 ， 这 可 以 充 
分 利用 磁盘 空间 。 也 就 是 说 ， 不 是 每 个 节点 都 包含 全 部 数据 ， 仅 保存 一 定数 量 的 副本 。 
还 记得 3.3.4 节 讨 论 过 的 节点 / 写 操作 / 读 操 作 话 题 吗 ? 这 里 的 副本 数 ， 就 是 当时 话题 中 
NWR 的 N。 


CouchDB 不 提供 这 样 的 特性 ， 不 过 别 担心 ! BigCouch 有 这 样 的 功能 。Cloudant 开发 并 
维护 的 BigCouch， 提 供 了 兼容 CouchDB 的 接口 ( 仅 有 一 些小 的 差别 *)。 但 在 接口 之 
下 ，BigCouch 实现 了 分 片 与 复制 策略 ， 类 似 于 Riak 这 样 的 Dynamo-inspired 数据 库 。 
安装 BigCouch 是 一 件 挺 繁 琐 的 差事 ( 比 尾 意 的 CouchDB 难得 多 ), 但 是 ， 如 果 开发 场 
景 包 含 大 型 数据 中 心 ， 这 又 是 值得 的 。 

* http://bigcouch.cloudant.com/api 








为 了 确认 复制 请 求生 效 了 ， 回 到 Futon Overview 页 面 。 应 该 能 看 到 一 个 名 为 
music-repl 的 新 数据 库 ， 其 文档 数目 与 music 数据 库 相 同 。 如 果 数 目 少 了 ， 等 待 些许 
时 间 并 刷新 页 面 一 一 CouchDB 可 能 正在 复制 中 。 如 果 Update Sed 的 值 不 匹配 ， 不 要 担心 。 
这 是 因为 原本 的 music 数据 库 有 文档 的 删除 与 更 新 操作 ， 而 music-repl 数据 库 只 有 插 
入 操作 ， 以 快速 建立 数据 库 


1. 制造 数据 冲突 


下 一 步 ， 我 们 将 制造 数据 冲突 ， 然 后 探索 解决 冲突 的 办 法 。 还 是 停留 在 Replicator 页 
面 上 ， 因 为 我 们 打算 在 music 与 music-repl 之 间 频 蚂 地 触发 自由 定义 的 复制 。 


器 到 命令 行 ， 输 入 以 下 内 容 ， 在 music 数据 库 里 创建 一 个 文档 : 
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$ curl -X PUT "http://localhost:5984/music/theconflicts" \ 
-H "Content-Type: application/json" \ 


-d '{ "name": "The Conflicts" }"' 


nok truey 
"id""theconflicts™, 


"rev":"1-e007498c59e95d23912be35545049174" 








在 Replicator 页 面 上 ， 点 击 Replicate 按钮 触发 又 一 次 同步 。 设法 从 music-repl 数据 
库 中 检索 该 文档 ， 验 证 同步 是 否 成 功 完 成 。 











$ curl "http://localhost:5984/music-repl/theconflicts" 
{ 
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ee 


"_rev":"1-e007498c59e95d23912be35545049174", 


"name":"The Conflicts" 














TY 





然后 , 在 music-repl 中 增加 一 张 名 为 《Conflicts of Interest》 的 专辑 , 来 更 新 该 文档 





o 





$ curl -X PUT "http://localhost:5984/music-repl/theconflicts" \ 


-H "Content-Type: application/json" \ 


一 人 '{ 
" _ id": "theconflicts", 
"_ rev": "1-e007498c59e95d23912be35545049174", 
"name": "The Conflicts", 
"albums": ["Conflicts of Interest"] 


} 


kn 


"id"s"theconflicte", 


"rev":"2-0c969fbfa76eb7fcdf6412ef219fcac5" 


























为 在 music 数据 库 中 制造 一 次 冲突 更 新 ， 增 加 一 张 不 同 的 专辑 。 














$ curl -X PUT "http://localhost:5984/music/theconflicts" \ 


-H "Content-Type: application/json" \ 


-dd 
.Tid "Eiecontlicts,, 
"_ rev": "1-e007498c59e95d23912be35545049174", 
"name": "The Conflicts", 
albums™e [CoOnflicting OBLinions™] 


} 


下 人 生生 


"id":"theconflicts", 


"rev":"2-cab47bf4444a20d6a2d2204330fdce2a" 

















这 时 , music 和 music-repl 都 有 相同 的 _iaqa 值 theconfLicts。 两 个 文档 都 是 版 
， 且 从 一 个 基础 版 本 (1-e007498c59e95d23912be35545049174) 而 来 。 现 在 的 


























解决 数据 冲突 





是 ， 当 我 们 试图 复制 二 者 时 ， 会 发 生 什 么 呢 ? 
2 








在 两 个 数据 库 之 间 ， 现 在 有 相互 











' 突 的 两 个 文档 。 回 到 Replicator 页 面 ， 
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复制 。 若 你 本 以 为 复制 会 失败 ， 很 可 能 会 震惊 于 操作 竟然 执行 成 功 了 。 那 么 CouchDB 究竟 
是 如 何 处 理 数据 差异 的 呢 ? 


事实 上 ，CouchDB 只 是 简单 地 二 选 一 ， 将 胜出 的 那个 作为 获胜 者 。 当 然 ， 使 用 了 确定 
的 算法 ， 所 有 的 CouchDB 节点 都 会 在 检测 到 冲突 时 ， 挑 出 同一 个 胜 者 。 不 过 ， 事 情 还 不 止 
这 些 。CouchDB 也 会 存储 未 选中 的 “失败 ”文档 ， 以 便 客 户 端 应 用 能 够 在 之 后 的 某 个 时 候 
回顾 当时 的 情形 ， 并 解决 问题 。 


要 找 出 哪个 版 本 的 文档 在 最 近 的 复制 中 “获胜 ”可 以 用 普通 的 GET 请 求 获取 该 文档 ， 
通过 增加 URL 参数 conflicts=true，CouchDB 也 会 将 冲突 的 版 本 信息 包含 进来 。 

















是 
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An 


curl http://localhost:5984/music-repl/theconflicts?conflicts=true 


"id™ "theconflicte", 

"_ rev":"2-cab47bf4444a20d6a2d2204330fdce2a", 
"name":"The Conflicts", 
"albums":["Conflicting Opinions"], 
CONNELLGtT | 


"2-0c969fbfa76eb7fcdqf6412ef219fcac5" 

















于 是 ， 我 们 看 到 第 二 次 更 新 获胜 了 。 注 意 响 应 中 的 _conf1icts。 它 包含 了 与 当前 版 
本 相 冲 突 的 其 他 版 本 列表 。 在 GET 请 求 中 增加 rev 参数 , 可 以 获取 到 所 有 冲突 的 修订 版 本 ， 
并 决定 如 何 处 置 它们 。 
























































An 


curl http://localhost:5984/music-repl/theconflicts?rev=2-0c969f£... 


id "theconflictesr., 
" rev":"2-0c969fbfa76eb7fcdf6412ef219fcac5", 
"name":"The Conflicts", 


"albums":["Conflicts of Interest"] 

















这 里 的 启发 在 于 CouchDB 没有 设法 智能 地 合并 冲突 的 数据 变化 。 至 于 如 何 合并 冲突 的 
文档 ， 这 与 特定 应 用 相关 ， 很 难 找 到 一 个 普遍 适用 的 解决 方案 。 在 我 们 的 例子 中 ， 通 过 连 
接 两 个 albums 数组 的 方法 实现 合并 是 有 意义 的 , 但 你 很 容易 会 想到 在 一 些 情况 下 , 合适 的 
操作 并 非 显而易见 。 


举例 来 说 ， 假 设 你 正在 维护 一 个 关于 日 历 事件 的 数据 库 。 你 的 智能 手机 上 有 一 个 副 
本 ; 笔记 本 电脑 上 有 男 一 个 副本 。 现 在 ， 你 收 到 派对 策划 者 发 来 的 一 条 短 消息 说 ， 你 委 


了 
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托 举 办 派对 的 地 点 确定 了 。 于 是 ， 你 更 新 了 智能 手机 上 的 日 历数 据 库 。 稍 后 ， 回 到 办 公 
室 ， 你 收 到 派对 策划 者 发 来 的 一 封 邮件 ， 其 中 提 到 另 一 个 派对 地 点 ， 所 以 ， 你 更 新 笔记 
本 上 的 数据 库 ， 然 后 同步 智能 手机 与 笔记 本 上 的 数据 库 。CouchDB 无 法 知道 哪个 派对 地 
点 是 正确 的 。 此 时 ， 最 好 的 做 法 是 保持 一 致 ， 保 存 旧 值 ， 以 便 你 能 够 核查 究竟 哪个 冲突 
值 应 该 保留 。 由 应 用 程序 选择 合适 的 用 户 接口 ， 处 理 这 种 情况 ， 并 征求 一 个 决策 一 一 不 失 
为 一 种 好 的 方式 。 







































































































































































6.4.6 第 3 天 总 结 





我 们 的 CouchDB 之 旅 到 此 结束 了 。 在 第 3 天 里 , 我 们 学 习 了 如 何 为 映射 规约 产生 的 视 
图 增加 规约 函数 。 然 后 ， 我 们 深入 了 解 了 Changes API， 包 括 如 何 开发 基于 Node.js 的 事件 
驱动 的 服务 器 端 JavaScript。 最 后 ， 我 们 了 解 了 CouchDB 是 如 何 实现 主 - 主 复制 策略 的 ， 以 
及 客户 端 应 用 是 怎样 侦 测 并 解决 冲突 的 。 


第 3 天 作业 


1. CouchDB 中 有 什么 可 用 的 原生 规约 器 吗 ? 如 果 有 的 话 ， 相 比 使 用 定制 的 JavaScript 
规约 器 ， 又 有 什么 好 处 ? 


2. 在 服务 器 端 ， 如 何 过 滤 出 自 _changes API 的 数据 变化 呢 ? 


3. 与 CouchDB 中 的 所 有 任务 一 样 ， 初 始 化 与 取消 复制 的 任务 实际 也 是 由 HTTP 命令 
控制 的 。 在 服务 器 之 间 设 置 与 移 除 复制 关系 的 REST 命令 又 是 什么 ? 


4. 如 何 使 用 _replicator 数据 库 ， 保 存 复制 关系 ? 





















































































































































1. 在 Nodejs 模块 〈6.4.3 节 讨 论 过 ) 的 基础 上 ， 创 建 名 为 watch_changes_ 
Continuous . js 的 新 模块 。 





























2. 实现 watcher .start () ， 使 其 以 连续 的 方式 监控 changes 订阅 内 容 。 确 认 它 
与 watch_ changes_longpolling.js 产生 相同 的 输出 。 


提示 : 如 果 你 遇 到 问题 ， 可 以 下 载 本 书 的 示例 实现 ， 作 为 参考 。 


有 冲突 版 本 的 文档 有 一 个 _conf1licts 属性 。 创 建 一 个 视图 ， 发 布 冲突 的 版 本 ， 
将 它们 映射 到 goc_ig。 





























3. 
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6.5 总 结 














操作 ， 到 利用 映射 规约 函数 他 





























及 侦 测 并 解决 冲突 。 





论 下 一 种 数据 库 之 前 ， 


6.5.1 CouchDB 的 优点 


CouchDB 是 NoSQL 社区 : 
迫在眉睫 一 一 CouchDB 就 是 基于 这 种 哲学 建立 的 ,村 
储 方式 。 小 ， 小 到 可 以 运行 在 智能 手机 中 ; 大 ， 大 到 是 以 支持 企业 应 用 。 








胜任 各 种 部 署 场景 。 




















通过 本 章 的 学 习 , 我 们 见识 了 如 何 执 行 与 CouchDB 相关 的 很 多 他 
。 我 们 学 习 了 如 何 监视 数据 变化 ， 还 尝试 开发 了 非 阻 














E 务 , 从 基本 的 CRUD 














塞 的 事件 驱动 客户 端 应 用 。 最 后 ， 我 们 讨论 了 如 何在 数据 库 之 间 执 行 
除了 所 有 这 些 ， 其 实 还 有 很 多 我 们 没有 接触 的 内 容 。 不 过 ， 在 开始 讨 
下 所 学 是 必要 的 。 









































F 是， 提供 了 一 利 



































稳定 的 一 员 。 网 络 是 不 可 靠 的 ， 而 硬件 故障 总 是 
Fh 尽 可 能 分 散 的 数据 存 
































定义 的 复制 ， 以 




















CouchDB 能 够 


CouchDB 是 一 个 作为 数据 库 的 API。 在 本 章 中 ， 我 们 关注 canonical Apache CouchDB 





项 目 ， 但 事实 上 ， 有 越 来 越 多 
之 上 。 因 为 CouchDB 1 





衡器 与 缓存 层 一 一 当 





6.5.2 ”CouchDB 的 缺点 





的 可 选 实现 ， 而 CouchDB 服务 提供 
用 网 络 技 术 是 相当 自然 的 
然 ， 最 终 都 是 通过 CouchDB 的 API 可 用 的 技术 。 



























































者 则 建立 于 混合 的 后 端 














比如 负载 均 





当然 ，CouchDB 不 是 万 能 的 。CouchDB 中 基于 映射 规约 的 视图 ， 虽 然 











执行 关系 数据 库 中 的 数据 分 片 。 事 实 上 ， 在 生产 环境 























所 视 ， 但 是 不 能 























同样 ，CouchDB 的 复制 策略 不 总 是 ] 
说 ， 所 有 参与 复制 的 服务 器 有 着 一 样 内容 。 村 
分 片 。 增 加 CouchDB 节点 的 主要 到 








作 的 吞吐 量 。 


6.5.3 ”结束 语 














为 处 理 不 确定 性 


E 确 的 选择 。CouchDB 的 复 






















































































PP， 你 不 应 该 运行 自 1 


定义 的 查询 。 




















由 是 全 部 或 者 全 无 ， 也 就 是 





























Ee 











酷 的 互联 网 环境 中 ，CouchDB 

















F 是， 在 数据 分 布 到 数据 中 心 的 过 程 中 ， 没 有 








， 不 是 为 了 将 数据 四 处 分 散 ， 而 是 尽 可 能 增加 读 写 操 


此 ， 如 果 你 的 系统 必须 运行 于 残 
过 利用 标准 的 Web 方法 ， 例 如 
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HTTP/REST 与 JSON，CouchDB 总 是 能 轻易 适应 流行 的 Web 技术 。 在 数据 中 心 的 围墙 
内 ， 由 CouchDB 或 BigCouch 应 对 数据 冲突 ， 这 都 没有 问题 ;但 是 不 要 奢望 数据 分 片 。 





























还 有 很 多 其 他 我 们 尚未 提 到 的 特性 , 使 CouchDB 成 为 独一无二 的 数据 库 。 这 些 特 性 大 
致 包 括 易于 备份 、 文 档 支持 二 进 制 附件 以 及 CouchApps 一 一 不 通过 中 间 件 ， 直 接 开 发 并 部 
署 Web 应 用 的 系统 。 说 了 这 么 多 ， 我们 希望 给 了 你 足够 的 亮点 ， 转 起 你 的 胃口 ， 自 己 继续 
学 习 下 去 。 若 要 选择 一 个 数据 驱动 的 Web 应 用 ， 不 妨 试 试 CouchDB; 你 不 会 失望 的 ! 
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Neo4] 





























蹦极 用 的 绳索 看 上 去 并 不 像 一 件 标准 的 木匠 工具 ， 正 如 Neo4j 似 乎 并 不 像 标准 的 数据 
库 。 蹦 极 绳 不 只 是 蹦极 绳 ， 它 可 以 用 来 绑 东西 一 -奇形怪状 的 东西 皆 可 。 如 果 把 桌子 `、 柱 
子 和 运 货 的 一 辆 皮卡 绑 在 一 起 对 你 来 说 很 重要 ， 听 我 的 ， 随 身 佛 着 蹦极 绳 吧 。 


Neo4j 是 一 种 新 型 的 NoSQL 数据 存储 ， 称 为 图 数据 库 。 顾 名 思 义 ，Neo4j 将 数据 另存 
为 图 (数学 意义 上 的 图 形 )。 同 时 ， 它 也 称 为 “白板 友好 ”的 数据 库 ， 也 就 是 说 ， 如 果 能 在 
白板 上 设计 一 些 框 和 线条 ， 就 可 以 用 Neo4j 把 它 存 起 来 。Neo4j 的 重点 是 数据 间 的 关系 ， 
而 非 数 据 集合 间 的 共性 (比如 ， 文 档 集合 或 者 数据 行 组 成 的 表 )。 在 这 种 方式 下 ，Neo4j 能 
以 自然 而 直接 的 方式 存储 多 变 的 数据 。 

Neo4j 很 小 ， 小 到 足以 嵌入 几乎 任何 应 用 程序 。 另 一 方面 ， 它 能 够 存储 数 百 亿 的 节点 
与 相同 数量 的 边 。 并 且 ， 一 旦 有 了 集群 支持 ， 在 多 个 服务 器 间 实 现 主 从 副本 ，Neo4j 几乎 
能 处 理 任何 规模 的 问题 。 


7.1 Neo4j， 白 板 友 好 的 数据 库 


设想 一 下 ， 你 要 创建 一 个 葡萄 酒 建议 引擎 ， 众 所 周知 ， 葡 萄 酒 有 不 同 的 品种 、 产 区 、 
酒 庄 、 年 份 以 及 标志 。 此 外 ， 你 可 能 得 记录 描述 葡萄 酒 的 文章 。 也 许 ， 你 还 想 让 用 户 能 名 
跟踪 他 们 最 喜爱 葡萄 酒 的 信息 。 


对 于 这 样 的 需求 ， 关 系 模型 会 创建 一 个 目录 〈category) 表 ， 以 及 茶 个 酒 庄 的 酒 与 多 个 
目录 或 者 一 些 其 他 数据 的 一 种 多 对 多 关系 。 可 是 ， 这 与 人 类 建 模 数 据 的 方式 不 太一 样 。 比 较 






























































































































































































































































































































































! 译 者 注 ; 这 里 的 table 和 column 一 语 双 关 ， 在 数据 库 中 ， 它 们 分 别 指 表 和 列 。 
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这 两 张 图 : 图 7-1 与 图 


























7-2。 关 系数 据 库 领 域 有 名 老话 : 只 要 时 间 够 长 ， 所 有 的 字段 都 不 是 


























必需 的 。Neo4j 只 在 必要 之 处 提供 数据 值 与 结构 ， 从 而 默默 地 解决 了 这 个 问题 。 如 果 一 种 调 
制 葡萄 酒 没有 年 份 , 取而代之 的 是 装 瓶 年 份 , 以 表明 调制 时 间 。 而 模式 无 法 为 此 做 任何 调整 。 























id 
name 


title 
content 


在 未 来 的 三 天 里 ， 
我 们 也 会 根据 图 算法 ， 





| articles | 
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publish_date 























categories Wines_categories 





wine_id 
category_id 


wines 



















wines articles 
wine_id 
article_id 


图 7-1 关系 UML 描述 的 模式 





























图 7-2 ”白板 上 的 葡萄 酒 建议 数据 


























我 们 将 学 习 如 何 通过 控制 台 、REST 以 及 搜索 索引 与 Neo4j 交互 。 
驾驭 规模 更 大 的 图 形 。 最 后 ， 在 第 3 天 ， 我 们 将 概览 Neo4j 为 关键 





























任务 提供 的 企业 级 工具 ， 














其 范围 包括 : 完全 遵循 ACID 的 事务 、 高 可 用 性 的 集群 以 及 增 量 





A 





备份 。 

















本 章 会 使 用 Neo4j 1.7 企业 版 。 尽管 GPL 社区 版 能 支持 我 们 所 需 的 大 部 分 操作 , 但 是 ， 





第 3 天 我 们 需要 一 些 企业 级 的 功能 : 高 可 用 性 。 








7.2 第 1 天 : 图 、Groovy 和 CRUD 








读者 朋友 请 不 要 意 











外 ， 第 一 天 我 们 就 不 打算 浅 尝 辑 止 。 除 了 探究 Neo4j 的 Web 接 
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我 们 还 将 深入 探索 图 

















7.2 第 1 天 : 


数据 库 的 术语 以 及 CRUD (Create/Read/Update/Delete )。 今 天 的 3 








图 、Groovy 和 CRUD 


2713 


王 
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容 是 学 习 如 何 通过 一 个 称 为 遍历 (walking) 的 过 程 ， 查 询 图 数据 库 。 在 本 章 中 出 现 的 概念 ， 


与 我 们 到 目前 为 止 已 





于 记录 的 形式 展现 这 个 世界 。T 








经 看 到 的 划 




















形式 表示 数据 ， 以 及 
令 进 入 目录 并 以 如 下 





























Neo4j 是 如 何 遍 历 医 
命令 启动 服务 器 : 





的 。 












































他 数据 库 相 比 ， 差 别 很 大 。 这 些 数据 库 主 要 以 文档 或 者 基 
1 在 Neo4j 中 ， 一 切 都 与 关系 (relationship) 有关 。 


不 过 ， 在 我 们 接触 这 些 内 容 之 前 ， 不 妨 以 Web 接口 为 起 点 ， 看 看 Neo4j 是 如 何以 图 的 
首先 下 载 并 解压 缩 Neo4j 包 ， 然 后 月 


日 cd 命 





$ bin/neo4j] start 











为 确保 服务 器 局 


动 3 





开始 运行 ， 用 curl 命令 访问 如 下 URL: 








$ curl http://localhost:7474/db/data/ 





与 CouchDB 一 样 ， 默 认 的 Neo4j 包 自 带 












































个 相当 好 用 的 Web 管理 工具 以 及 数据 浏览 


器 ， 这 个 浏览 器 尤其 适合 运行 一 些 简单 命令 。 如 果 这 还 不 够 ，Neo4j 配备 了 我 们 见 过 的 最 






































禺 图 遍历 会 觉得 很 别 





7.2.1 


打开 Web 浏览 器 ， 


酷 的 图 数据 浏览 器 之 一 。 当 然 ， 
























































扭 ， 工 具 愈 简单 愈 好 。 








Neo4j 之 Web 接 口 


访问 其 管理 页 面 。 





带 的 工具 足以 提供 一 个 完美 的 开始 ， 这 和 是 





因为 第 一 次 接 





http://localhost:7474/webadmin/ 





你 会 看 到 一 幅 彩 色 但 依旧 为 空 的 图 


据 浏 览 器 ) 选项 。 你 


图 数据 库 中 的 蔬 
意思 是 网 络 中 的 物理 





























， 如 图 














会 发 现 新 安装 的 Neo4j 有 一 个 事先 存在 的 节点 : node 0。 


























7-3 所 示 。 点 击 页 面 顶端 的 Data browser( 数 


点 与 前 面 章节 谈 到 的 节点 并 非 完 全 没有 关联 。 之 前 ， 我 们 提 到 节点 ， 
服务 器 。 你 若 把 整个 网 络 看 做 一 幅 巨大 的 相互 连接 的 图 ， 一 个 服务 器 





节点 就 是 一 个 点 或 者 项 点， 而 服务 器 之 间 的 关系 ， 就 是 边 。 


在 Neo4 中 ， 节 点 的 概念 与 之 类 似 ， 作 为 边 之 间 的 顶点 ， 能 够 以 键 值 (key-value) 集 


合 的 形式 存放 数据 。 


点 击 1 











为 值 ， 表 示 某 种 葡萄 : 


























及 其 年 份 。 然 后 ， 





























上 , 增加 name 属性 ， 


























Expert Monthly" 











] )。 不 难 发 现 ， 节 点 的 编号 是 












































名 














它 简写 为 : [name : 


动 增加 的 。 


HProperty 按钮 ， 将 name 作为 键 ，Prancing Wolf Ice Wine 2007 作 
点 击 +Node 按钮 ， 如 
其 值 设 置 为 Wine Expert Monthly (我 们 将 


色 7-4 所 示 。 在 新 建 的 节点 


"Wine 
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Dashboard Data browser Console Server info Index manager 








Neo4j web administration 
. 1 0 0 0 
nodes properties relationships relationship types 

Server url 
http/ocalhost:7474 
a 4 0 0 MB 0 MB 
Neo4j - Graph Database Kernel 17.M01 cached nodes cached relationships database disk usage logical log disk usage 
For more information, help and examples, 
Please visit he Neo4l community Sie ， Year One month Oneweek QOneday 6hours 30minutes 
More about Charts 1.25 

轩 Nodes 


Pb More about KPls 
1.00|- 本 Properties 


国 Relationships 





07:40 08:13 08:46 09:20 09:53 10:26 11:00 11:33 12:06 12:40 13:13 


Copyright (c) 2002-2012 Neo Technology. This is free software, available under the GNU General Public License version 3 or greater. 














图 7-3 ”Web 管理 页 面 仪表 板 


图 7-4 点击 +Node 按钮 添加 新 节点 


现在 , 我 们 有 两 个 节点 , 但 它们 之 间 没 有 关联 。 由 于 Wine Expert 报道 了 葡萄酒 Prancing 
Wolf， 因 此 得 通过 创建 边 ， 将 这 两 个 节点 联系 起 来 。 点 击 +Relationship 按钮 ， 从 node 1 指 
向 node 0， 关 系 类 型 为 reporteq_on。 


对 于 这 个 新 建 的 关系 ， 可 以 通过 如 下 URL 查看 其 详细 信息 .… 






















































































http://localhost:7474/db/data/relationship/0 





该 关系 表明 Node 1 报道 了 Node 0。 


与 节点 一 样 , 关系 也 能 包含 属性 。 点 击 + Add Property 按钮 , 输入 属性 [rating : 92]， 
以 此 记录 该 葡萄 酒 的 评分 。 

这 种 特殊 的 冰 葡 萄 酒 由 雷 司令 葡萄 (riesling grape) ! ， 酿 制 而 成 ， 我 们 得 把 这 条 信息 加 入 
数据 库 。 一 种 方法 是 直接 在 表示 该 葡萄 酒 的 节点 上 添加 属性 ， 但 是 雷 司令 其 实 是 一 种 类 别 ， 其 
他 和 葡萄酒 也 会 划 入 此 类 ， 因 此 更 合适 的 方法 是 创建 一 个 节点 ， 并 将 其 属性 设置 为 [name 
"riesling"]。 然 后 , 添加 从 node 0 指向 node 2 的 关系 grape type， 并 设置 属性 [style : 



























































































































































: 一 种 起 源 于 德国 莱茵 地 区 的 葡萄 。 一 一 译 者 注 








加 | 
济 
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"ice wine"]。 














对 了 ,我 们 的 图 看 起 来 会 是 什么 样子 呢 ?” 点 击 “switch view mode ”按钮 (在 +Relationship 
按钮 旁边 ， 看 起 来 焉 下 扭捏 的 那个 )， 你 看 到 的 画面 ， 类 似 图 7-5。 























grape_type 





图 7-5 与 当前 节点 相关 的 节点 图 


点 击 Style 按钮 ， 弹 出 一 个 菜单 ， 可 以 从 中 选择 配置 ， 用 于 泻 染 图 形 的 可 视 化 效果 。 
想 在 图 上 看 到 更 多 的 有 用 信息 ， 先 点 击 Style 按钮 ， 然 后 New Profile 按钮 ， 你 会 看 到 页 面 
“Create new visualization profile”。 在 页 面 顶 部 ， 输 入 wines 作为 配置 名 ， 再 将 label 输入 框 
的 值 从 {fid} 改 成 {id} : {prop.name}。 点 击 Save 按钮 ， 回 到 可 视 化 页 面 。 现 在 ， 可 以 
从 Style 菜单 选择 wines 配置 ， 页 面 泻 染 效果 类 似 图 7-6。 





































































































1: Wine Expert tionthly 


2: rieslinmgy 








图 7-6 自 定义 配置 的 节点 图 


通过 Web 接口 进行 编辑 是 一 种 简单 易学 的 方法 , 但 是 我 们 还 是 需要 更 强大 的 接口 以 应 
对 实际 的 生产 工作 。 

































































7.2.2 ”通过 Gremlin 操 作 Neo4j 




















有 若干 种 编程 语言 能 与 Neo4j 进 行 互 操作 : Java 代 人 码 、REST、Cypher 以 及 Ruby 控 制 台 
(Ruby console) 等 。 我 们 今天 会 用 一 种 名 为 Gremlin 的 编程 语言 ， 它 是 用 Groovy 编 程 语言 实 
现 的 图 遍历 语言 。 然 而 ， 使 用 Gremlin 事 实 上 不 需要 了 解 Groovy， 所 以 不 妨 将 它 看 做 另 一 种 
声明 式 ! 的 领域 特定 语言 ， 好 比 SQL。 



























































! 关于 declarative programming 的 详细 信息 参见 http://en.wikipedia.org/wiki/Declarative_programming。 一 一 译 者 注 
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与 我 们 研究 过 的 其 他 控制 台 一 样 ，Gremlin 提供 了 访问 其 底层 语言 架构 的 能 力 。 也 就 
是 说 ， 可 以 在 Gremlin 中 使 用 Groovy 构造 函数 与 Java 类 库 。 我 们 发 现 ， 较 之 Neo4j 的 原 
生 Java 代码 ，Gremlin 与 图 交互 的 方式 更 强大 也 更 自然 。 更 历 害 的 是 ，Gremlin 控制 台 可 以 
在 Web 管理 工具 中 使 用 ;只 须 点 击 Web 管理 页 面 顶 部 的 Console 链接 ， 并 选择 Gremlin。 


方便 起 见 ， 以 变量 g 表示 图 对 象 。 对 图 的 操作 即 是 作用 于 变量 g 的 函数 。 


由 于 Gremlin 是 通用 的 图 遍历 语言 ， 它 使 用 数学 中 的 通用 图 术语 。Neo4j 将 存储 数据 
的 图 形 点 称 为 节点 (node)，Gremlin 则 称 为 顶点 〈vertex); Neo4 中 的 关系 (relationship )， 
Gremlin 称 为 边 (edge)。 
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为 访问 图 中 所 有 的 项 点， 以 名 为 V 的 属性 表示 全 部 项 点， 输入 如 下 命令 访问 它们 。 
gremlin> 9.V 

==>v[0] 

==>V[1] 

==>V[2] 





类 似 地 ， 还 有 名 为 王 的 姊妹 属性 表示 所 有 的 边 。 











gremlin> g.E 
==> e[0] [1-reported on->0] 
==> e[1] [0-grape type->2] 





可 以 在 v( 小 写 ) 方法 中 传 入 节点 号 ,访问 某 个 特定 的 顶点 。 





gremlin> g.v(0) 
= 和 =» 和 y|[ 人 0 























为 了 确保 访问 正确 的 项 点 ， 可 以 通过 map () 方 法， 把 项 点 的 属性 罗列 出 来 。 注意， 可 
以 在 Groovy/Gremlin 中 使 用 方法 调用 链 ， 如 下 所 示 。 





















































gremlin> g.v(0) .map() 
==> name=Prancing Wolf Ice Wine 2007 











v0) 能 准确 返回 想 要 的 节点 ， 不 过 ， 你 也 可 以 在 所 有 节点 中 过 滤 出 你 想 要 的 某 个 值 。 
比如 ， 按 名 字 检 索 雷 司令 (riesling)， 可 以 使 用 过 滤器 语法 {...}， 这 在 Groovy 代码 中 称 为 闭 
包 (closure)。 花 括号 {...} 所 包围 的 全 部 代码 定义 了 函数 ， 如 果菜 个 顶点 使 该 函数 计算 结果 
为 ttue， 则 这 个 顶点 会 过 滤 出 。 闭 包 中 的 关键 字 it 表示 当前 裔 历 的 对 象 ， 它 会 自动 填充 合 
适 的 值 ， 以 供 你 使 用 。 








































































































gremlin> g.V.filter{it.name=='riesling'} 
==> V[2 
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一 旦 取 到 某 个 顶点 ， 就 可 以 对 该 顶点 调用 outE () ， 从 而 得 到 从 这 个 顶点 出 发 的 所 有 
inE0O 获 取 进 入 的 边 ， 由 bothEO 调 用 进入 和 出 发 的 边 




















注 








gremlin> g.V.filter{it.name=='Wine Expert Monthly'}.outE!() 
==> e[0] [1-reported on->0] 




















注意 ， 和 Ruby 一 样 ， 在 Groovy 中 ， 方 法 的 圆 插 号 是 可 选 的 ， 所 以 调用 outE 也 行 。 




















gremlin> g.V.filter{it.name=='Wine Expert Monthly'}.outE 
==> e[0] [1-reported on->0] 








基于 向 外 的 边 ， 可 以 通过 inV 方法 ， 得 到 这 些 边 所 指向 的 顶点 。 边 reported on 由 
顶点 Wine Expert 指向 顶点 Prancing Wolf Ice Wine 2007， 所 以 outE .inV 会 返回 顶点 
Prancing Wolf Ice Wine 2007。 然 后 ， 检 索 该 顶点 的 name 属性 ， 语 法 如 下 。 





























gremlin> g.V.filter{it.name=='Wine Expert Monthly'}.outE.inV.name 
==> Prancing Wolf Ice Wine 2007 

















表达 式 outE . inyV 会 寻找 输入 顶点 《在 下 例 中 即 Wine Expert Monthly) 通过 边 所 指向 
的 项 点。 而 相反 的 操作 《寻找 这 样 的 顶点 ， 它 们 有 指向 输入 顶点 的 边 ) 可 由 inE.outV 完 
成 .因为 这 对 操作 相当 常用 ,所 以 Gremlin 提供 了 它们 的 快捷 方式 ,表达 式 out 是 outE.inV 
的 缩写 ，in 是 inE .outV 的 缩写 。 
























































gremlin> g.V.filter{it.name=='Wine Expert Monthly'}.out.name 
==> Prancing Wolf Ice Wine 2007 























一 个 酒 庄 会 酿造 多 种 葡萄 洒 ， 所 以 ， 如 果 我 们 计划 添加 更 多 的 葡萄 洒 ， 就 得 为 酒 庄 新 
建 一 个 节点 ， 并 新 建 一 条 指向 Prancing Wolf 的 边 










































































gremlin> pwolf = g.addVertex([name : "Prancing Wolf Winery']) 
==> YI[3 
gremlin> g.addEdge (pwolf, g.v(0), 'produced') 


==> e[2] [3-produced->0] 


























下 面 的 代码 添加 两 种 雷 司令 葡萄 酒 ; Kabinett 和 Spatlese。 



































gremlin> kabinett = g.addVertex([name : 'Prancing Wolf Kabinett 2002']) 
==> V[4 
gremlin> g.addEdge (pwolf, kabinett, 'produced') 
==> e[3] [3-produced->4] 


gremlin> spatlese = g.addVertex([name : "Prancing Wolf Spatlese 2007']) 
==> V[5 
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gremlin> g.addEdge (pwolf, spatlese, 'produced') 
==> e[4] [3-produced->5] 





让 我 们 添加 从 riesling 顶点 到 新 增 顶点 的 几 条 边 ， 完 成 这 张 小 图 。 通 过 滤 出 riesling 顶 
点 ， 为 变量 riesling 赋值 ， 然 后， 需要 next () 方法 ， 获 取 pipeline〈 管 道 ) 的 第 一 个 顶点 。 
后 就 会 详细 了 解 pipeline 的 概念 。 









































2 浊 











gremlin> riesling = g.V.filter{it.name=='riesling'}.next() 
==> V[2 
gremlin> g.addEdge ([style:'kabinett'], kabinett, riesling, '‘'grape type') 
==> e[5] [4-grape type->2] 














用 类 似 的 方法 , 建立 从 Spatlese 指向 riesling 的 边 , 不 同 的 是 style 设置 为 spatlese。 
这 些 数据 添加 完毕 时 ， 该 图 在 可 视 化 工具 里 如 图 7-7 所 示 。 
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1: Wine Expert tionthly 





ge Ne Fe 
2: riesling 3: Francing Wolf Winery 











图 7-7 由 Gremlin 添加 数据 后 的 节点 图 未 














7.2.3 pipe 的 威力 


可 以 把 Gremlin 操 做 看 做 一 系列 pipe。 每 个 pipe 一 边 以 某 个 数据 集 作为 输入 ， 一 边 吐 
出 数据 集 作为 输出 。 一 个 数据 集 可 以 包含 一 个 数据 项 ， 多 个 数据 项 ， 或 者 没有 数据 项 。 而 
数据 项 可 以 是 顶点 、 边 或 者 属性 值 。 
比如 ，outE pipe 吸 入 顶点 的 数据 集 ， 吐 出 边 的 数据 集 。 一 系列 的 pipe 称 为 pipeline， 
它 以 声明 方式 描述 问题 。 对 比 典型 的 命令 式 编程 (imperative programming) 方法 ， 
pipe 要 求 描述 每 个 步骤 从 而 解决 问题 。 事 实 上 ，pipe 是 查询 图 数据 库 最 简洁 的 方法 之 
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! 关于 imperative programming 的 更 多 信息 参见 http://en.wikipedia.org/wiki/Imperative_programming。 一 一 译 者 注 


Java 项 目 为 基础 的 。 
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信 Jim 谈 : jQuery 与 Gremlin 
jQuery JavaScript 库 十 分 流行 ， 它 的 用 户 或 许 会 发 现 Gremin 的 面向 集合 的 遍历 方法 
与 之 相当 类 似 。 考 虑 如 下 HTML 片段 : 





<ul id="navigation"> 
<1i> 
<a name="sectioni">section 1</a> 
</1i> 
<1i> 
<a name="section2">section 2</a> 
</1i> 
</ul> 





现在 , 假定 我 们 想 查 找 名 为 sectionl 的 所 有 tag 中 的 文本 , 即 在 navigation 元 素 
(id=navigation ) 之 下 的 list 项 (<1i>) 的 子 项 。 


用 jQuery 进行 这 个 查询 的 方法 之 一 是 使 用 如 下 代码 : 





$('[id=navigation]') .children('1i') .children(' [name=sectionl1l]') .text() 





接着 ， 看 看 Gremin 查询 是 如 何 达成 类 似 功能 的 。 不 妨 想象 每 个 父 节 点 都 有 指向 每 个 子 节点 
的 边 : 





g.V.filter{it.id=='navigation'}.out.filter{it.tag=="'1i'}. 
out.filter{it.name=='sectionl'}.text 








是 不 是 很 像 ， 嗯 ? 





























从 本 质 上 说 ，Gremlin 是 一 种 用 来 建立 pipe 的 语言 。 有 具体 而 言 ， 它 是 以 称 为 Pipes 的 


























为 探讨 pipe 的 概念 ， 我们 回 到 先前 的 葡萄 酒 图 。 假设 我 们 想 查 找 与 给 定 葡萄 酒 类 似 的 
















































































也 就 是 ， 它 们 种 类 相同 。 我 们 可 以 从 一 种 冰 和 葡萄 酒 开 始 ， 该 酒 与 其 他 out 节点 有 相 






































同 grape type 类 型 的 边 〈 这 里 忽略 初始 葡萄 酒 节 点 v(0))。 























ice _ wine = g.v(0) 
ice wine.out('grape type') .in('grape type') .filter{ !it.equals (ice wine) } 





如 果 你 曾 在 工作 中 使 用 Smalltalk 或 者 Rails， 一 定 对 这 种 风格 的 方法 链 似 曾 相 识 。 但 


























是 ,对 比 这 种 形式 的 方法 链 与 之 后 ， 我 们 会 看 到 标准 的 Neo4 JavaAPI， 在 后 者 中 ， 一 个 节 
点 的 关系 必须 依次 迭代 ， 以 访问 各 个 节点 。 
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enum WineRelationshipType implements RelationshipType { 


grape type 
} 


import static WineRelationshipType.grape type; 


Public static List<Node> same variety( Node wine ) { 


List<Node> wine list = new ArrayList<Node> (); 


// walk into all out edges from this vertex 


for( Relationship outE : wine.getRelationships( grape type ) ) { 


// walk into all in edges from this edge's out vertex 


for( Edge inE : outE.getEndNode() .getRelationships( grape type ) 


// only add vertices that are not the given vertex 


if( !inE.getSstartNode() .equals( wine ) ) { 
wine list.add( inE.getStartNode() ); 


} 


return wine list; 


) { 

















不 同 于 上 面 所 示 的 杠 套 与 迭代 ，Pipes 项 目 设 计 了 一 利 
与 进入 (incoming) 顶点 。 可 以 新 建 一 系列 进出 pipe、 过 滤器 ， 并 从 pipeline 中 取 值 。 然 后 
迭代 地 调用 pipeline 的 hasNext () 方法 ， 该 方法 会 返 
pipeline 会 自动 壳 历 整 棵 树 。 只 需 声 明 如 何 裔 历 ，pipeline 会 按 要 求 查 询 需 要 的 值 。 














方法 ， 可 以 声明 出 








发 (outgoing) 























加 下 一 个 匹配 的 节点 。 换 名 话说 ， 



































为 了 加 以 说 明 ,， 下面 是 same_variety () 方 法 的 男 一 种 实现 ， 其 中 使 用 了 Pipes 而 非 





显 式 地 循环 : 





Public static void same _ variety( Vertex wine ) { 


List<Vertex> wine list = new ArrayList<Vertex>(); 


Pipe inE = new InPipe( "grape type™" ); 


Pipe outE = new OutPipe( "grape type™ ); 


Pipe not wine = new ObjectFilterPipe( wine true ); 


Pipe<Vertex,Vertex> pipeline 


new Pipeline<Vertex,Vertex>( outE, inE, not wine ); 


pipeline.setStarts( Arrays.asList( wine ) ); 


while( pipeline.hasNext () ) 


{ 


wine list.add( pipeline.next() ); 


} 


return wine list; 





从 深 处 来 说 ，Gremlin 是 由 Pipe 建立 的 语言 。 遍 历 图 的 工作 ， 当 然 还 是 























器 执行 ， 因 此 需要 建立 Neo4j 能 够 到 





解 的 查询 ， 而 Gremlin 着 








人 


头 旧 




















| Neo4j 服务 








化 了 这 项 


[ 作 。 


7.2 第 1 天 : 图 、Groovy 和 CRUD 221 





7.2.4 ”Pipeline 与 顶点 


为 了 抓 取 只 包含 某 个 特定 顶点 的 集合 ， 可 以 从 所 有 节点 的 列表 中 将 它 过 滤 出 。 比 如 ， 
调用 g.V.filter{it.name=='reisling'}， 就 是 这 种 方式 。 属 性 V 是 所 有 节点 的 列表 ， 






































可 以 从 中 扰 选 一 个 子 列 











表 。 但 是 , 当 我 们 想 要 项 点 本 号 , 而 非 一 个 列表 时 , 就 需要 调用 next () 





方法 。 该 方法 检索 pipeline 的 第 一 个 顶点 。 简 而 言 之 ， 我 们 所 需要 区 别 的 ， 类 似 于 只 包含 一 个 











元 素 的 数组 与 这 个 元 素 


本 身 之 差别 。 




















如 果 查 看 过 滤器 filter 的 class 属性 , 请 注意 , 它 返 回 的 是 类 型 GremlinPipeline。 














gremlin> g.V.filter{it.name=='Prancing Wolf Winery'}.class 


==>class com.tinkerpop.gremlin.pipes.GremlinPipeline 








将 它 与 pipeline 的 next () 方法 所 返回 的 类 型 相 比 ， 后 者 返回 的 是 不 同 的 类 型 ， 即 


Neo4jVertex。 





gremlin> g.V.filter{it.name=='Prancing Wolf Winery'}.next().class 


==>class com.tinkerpop.blueprints.pgm.impls.neo4j.Neo4jVertex 





























虽然 控制 台 可 以 方便 地 列 出 从 pipeline 中 检索 到 的 节点 , 但 是 pipeline 终究 是 pipeline， 





除非 显 式 地 从 中 取出 什么 内 容 。 








7.2.5 无 模式 的 








社会 性 数据 














在 图 中 建立 社会 性 数据 ， 可 以 通过 添加 更 多 节点 ， 简 单 地 实现 。 假 设 我 们 想 添 加 三 











个 人 物 一 一 两 个 人 互 术 
































认识 ， 第 三 个 则 是 陌生 人 ， 每 个 人 都 有 自己 偏爱 的 酒 。 





Alice 有 点 哮 甜 ， 





因此 热衷 冰 和 葡萄 酒 。 








alice = g.addVertex([name:'Alice']) 


ice wine = g.V.filter{it.name=='Prancing Wolf Ice Wine 2007'}.next() 


g.addEdge (alice, 


ice wine, 'likes') 

















Tom 喜欢 Kabinett 和 冰 葡 萄 酒 ， 并 相信 《Wine Expert Monthly》 发 表 的 任何 文章 。 











tom = g.addVertex([name:'Tom']) 


kabinett = g.V.filter{it.name=='Prancing Wolf Kabinett 2002'}.next() 


g.addEdge (tom, kabinett, 'likes') 


g.addEdge (tom, ice wine, 'likes') 


g.addEdge (tom, g.V.filter{it.name=='Wine Expert Monthly'}.next(), 'trusts') 
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Patty 是 Tom 和 Alice 的 朋友 ， 但 是 ，Patty 才 接 触 葡 萄 酒 不 入， 还 未 选择 任何 钟爱 的 酒 。 
































patty = g.addVertex([name:'Patty']) 
g.addEdge (patty, tom, 'friends') 
g.addEdge (patty, alice, '‘'friends') 














我 们 能 够 超出 设计 原意 , 添加 新 的 行为 , 却 得 以 避免 对 已 有 图 的 基本 结构 做 任何 修改 。 








新 增 的 节点 是 相互 关联 的 ， 如 图 7-8 所 示 。 








4: Prancing Wolf Fabinett 2002 


tsts 1: Wine Expert tionthly 
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oy 
~ Mos > 
lkes 


Di oo: EramcImg Wolf Ice Wine 2007 


图 7-8 ”表示 社会 性 数据 的 节点 子 集 
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Eric 谈 : Cypher 语言 


Cypher 是 Neo4j 支持 的 另 一 种 图 查询 语言 ， 它 基于 模式 匹配 ( pattern matching )， 且 语 
法 类 似 SQL。Cypher 语句 让 人 感到 十 分 熟悉 ， 容 易 理解 。 尤 其 是 ， 它 的 MATCH 语句 
十 分 直观 ， 是 一 种 类 似 ASCII 艺术 的 表达 式 。 


一 开始 ， 我 嫌 Cypher 过 于 见长 ， 但 是 ， 随 着 我 的 眼睛 一 次 次 适应 Cypher 的 语法 ， 我 
成 了 它 的 支持 者 。 


前 文 讨论 的 “类 似 葡 葡 酒 ”查询 ， 在 Cypher 中 以 如 下 方式 实现 : 





START ice wine=node (0) 


MATCH (ice wine) -[:grape _ type]-> () <-[:grape type]l]- (similar) 
RETURN similar 





我 们 先 将 ice_wine 绑 定 到 node 0。MATCH 语句 使 用 圆 括号 中 的 标识 符 表示 节点 ， 诸 
如 -[:grape type]-> 之 类 的 箭头 表示 有 向 的 关系 。 事实 上 , 我 喜欢 这 种 书写 查询 语 
多 的 方式 ， 原 因 在 于 我 们 轻而易举 地 形象 化 节点 的 遍历 。 

而 且 ， 你 可 以 很 快 地 从 入 门 到 进 阶 .下面 是 一 个 更 实际 的 例子 一 一 每 一 处 都 与 SQL 一 
样 强大 ， 易 于 理解 。 
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START ice wine=node:wines (name="Prancing Wolf Ice Wine 2007") 

MATCH ice wine -[:grape type]-> wine type <-[:grape typel]- similar 

WHERE wine type =~ /(?i)riesl.*)/ 

RETURN wine type.name, collect (similar) as wines, count(*) as wine count 
ORDER BY wine count desc 

LIMIT 10 





Oe bee ns ho EE 和谐 共 
。 在 日 常 工作 中 ， 你 会 根据 思考 问题 的 不 同 角 度 ， 选 择 合适 的 语言 。 


7.2.6 垫 脚 石 











我 们 已 经 看 了 一 些 基 本 的 Gremlin 步骤 ， 或 者 Pipe 处 理 单元 。 而 Gremlin 能 做 的 ， 要 
比 这 些 多 得 多 。 接 着 ， 我 们 会 讨论 更 多 构件 ， 不 仅仅 是 图 裔 历 ， 还 包括 对 象 转换 、 过 滤 以 
及 附加 的 功能 ， 比 如 统计 按 条 件 (criteria) 分 组 的 节点 。 


















































我 们 已 经 看 了 inE、outE、inV 和 outV， 它 们 都 是 检索 进出 边 与 顶点 的 转换 步骤 。 
还 有 其 他 两 个 类 型 pothE 与 pothV， 它 们 就 循 着 边 ， 不 管 边 的 方向 是 进 还 是 出 。 









































下 面 的 语句 检索 Alice 和 她 所 有 的 朋友 。 我 们 把 name 放 在 语句 的 最 后 ， 以 获取 顶点 
的 name 属性 。 由 于 我 们 不 在 意 friend 边 的 方向 ， 因 此 在 此 用 的 是 bothE 和 bothVv。 












































alice.bothE('friends') .bothV.name 
==> Alice 
==> Patty 

















如 果 你 不 希望 Alice 出 现在 结果 中 ， 可 以 将 我 们 不 想 要 的 节点 列表 ， 传 入 except () 
过 滤器 ，except () 才 会 遍历 剩 下 的 节点 。 





alice.bothE('friends') .bothV.except ([alice]) .name 
==> Patty 








与 except () 功能 相反 的 是 retain ()， 如 你 所 猜测 ，retain() 只 遍历 匹配 的 节点 。 
另 一 种 替代 方法 是 用 代码 块 过 滤 返 回 的 顶点 ， 在 该 代码 块 中 ， 会 检查 当前 顶点 是 否 等 




















于 alice。 





alice.bothE('friends') .bothV.filter{!it.equals (alice)}).name 




















如 果 你 想 认 识 Alice 的 朋友 的 朋友 ， 又 该 怎么 办 呢 ? 你 只 要 重复 上 面 提 到 的 步骤 即 可 , 如 下 
所 示 : 
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alice.bothE('friends') .bothV.except ([alice]). 

bothE('friends') .bothV.except ([alice]) 

用 同样 的 方法 ， 可 以 查询 Alice 的 朋友 的 朋友 的 朋友 ， 只 需 在 方法 链 后 再 加 一 组 
bothE/bothV/except 调用 即 可 。 但 是 ， 我 们 会 为 此 录入 很 多 字 ， 并 且 不 可 能 以 这 种 方 
式 书写 nn 步 (n 是 表示 friends 关系 层 数 的 变量 )。 而 Loop () 方法 正 是 为 此 设计 的 ， 它 























会 重复 若干 次 之 前 的 步骤 ， 只 要 闭 包 中 的 给 定 条 件 为 真 ， 就 会 继续 执行 




































































下 面 的 代码 会 将 loop () 之 前 的 三 步 进 行 循 环 ， 这 可 以 通过 从 loop 调用 的 前 数 三 个 
“.” 来 实现 。 于 是 ，except 是 一 步 ，bothvV 是 两 步 ，bothE 是 三 步 。 
alice.bothE('friends') .bothV.except ([alice]l).1Ioop(3) 1{ 
it.loops <= 2 
} .name 
每 次 执行 大 量 循环 步骤 后 ，1oop () 会 调用 闭 包 中 的 给 定 条 件 一 一 花 括号 {. ..} 之 间 
的 代码 。 其 中 ，it .loops 属性 会 记录 当前 循环 执行 的 次 数 。 在 这 个 例子 中 ， 我 们 检查 循 





D172 





环 次 数 是 否 小 于 等 于 2， 也 就 是 说 ， 




















循环 执行 两 次 后 就 会 

















停止 。 事 实 上 ， 这 里 的 闭 包 














很 像 






























































普通 编程 语言 中 的 while 语句 。 

Eg 

==>Patty 

loop 的 确 可 行 ， 正 确 地 找到 了 Tom 和 Patty。 但 是 ， 不 难 发 现 ，Patty 出 现 了 两 次 。 这 
是 因为 ，Patty 一 次 是 作为 Alice 的 朋友 ， 男 一 次 是 作为 Tom 的 朋友 匹配 的 。 所 以 ， 我 们 需 











要 过 滤 掉 重复 对 象 的 方法 ， 这 正 是 dedup () 过 滤器 提供 的 功能 。 






































alice.bothE('friends') .bothV.except ([alice]l).1Ioop(3) 1{ 
it.loops <= 2 

} .aedup .name 

==>Tom 

==>Patty 

为 了 深入 了 解 获 取 这 些 值 的 路 径 ， 可 以 使 用 paths () 转换 ， 跟 踪 friend->friend 的 
路 径 。 

alice.bothE('friends') .bothV.except ([alice]).loop(3){ 





it.loops <= 2 
} .dedup.name.paths 


==> [v[7], el[l12] [9-friends->7], Vv[9], el[lll] [9-friends->8], v[8], 
==> [v[7], el[l12] [9-friends->7], v[9], el[lll1l] [9-friends->8], v[9], 


Tom] 
Patty] 
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到 目前 为 止 ， 所 做 的 遍历 都 是 循 着 图 向 前 进行 的 。 有 时 ， 需 要 前 进 两 步 ， 后 退 两 步 。 
从 Alice 节点 开始 ， 前 进 两 步 ， 后 退 两 步 ， 正 好 回 到 Alice 节点 。 














开 









































gremlin> alice.outE.inV.back(2) .name 
==> Alice 





我 们 探讨 的 最 后 一 个 常用 的 步骤 是 groupCount () ， 它 会 般 历 节点 ， 对 重复 值 计 数 ， 
并 将 它们 抓 取 在 一 个 map 中 。 


考虑 下 面 的 例子 ， 获 取 图 中 所 有 顶点 的 name 属性 ， 统 计 每 个 name 分 别 出 现 几 次 : 























gremlin> name map = [:] 

gremlin> g.V.name.groupCount( name map ) 
gremlin> name map 

==> Prancing Wolf Ice Wine 2007=1 
==> Wine Expert Monthly=1 

==> riesling=1 

==> Prancing Wolf Winery=1 

==> Prancing Wolf Kabinett 2002=1 
==> Prancing Wolf Spatlese 2007=1 
==> Alice=1 

==> Tom=1 

==> Patty=1 























在 Groovy/Gremlin 中 ，map 由 命名 规则 [ : ] 表示 ， 与 Ruby/JavaScript 中 的 记 法 {} 十 分 
相像 。 注意 map 中 所 有 的 值 都 是 1。 这 跟 我 们 预期 的 一 样 ， 因 为 并 没有 任何 重复 的 name， 
而 V 和 集合 正 好 包含 图 中 每 个 节点 的 一 个 副本 。 


接 下 来 ， 统 计 每 个 人 喜爱 的 酒 的 数量 。 我 们 可 以 得 到 每 个 人 喜爱 的 顶点 ， 对 它们 按照 
name 计数 即 可 。 

































































山 | 











gremlin> wines count = [:] 

gremlin> g.V.outE('likes') .outV.name.groupCount( wines count ) 
gremlin> wines count 

==> Alice=1 

==> Tom=2 











如 我 们 所 预期 ，Alice 喜爱 一 种 酒 ，Tom 喜爱 两 种 酒 。 





7.2.7 引入 Groovy 





除了 Gremlin 步 又， 我 们 也 有 Groovy 语言 的 各 种 构造 器 和 方法 。Groovy 有 名 为 
collect () 的 映射 (map) 函数 (mapreduce 风格 的 ) 以 及 名 为 inject () 的 规约 (reduce) 
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函数 。 由 此 ， 我 们 可 以 使 用 类 似 mapreduce 的 查询 。 





考虑 这 样 的 案例 ， 我 们 想 统 计 尚 无 评价 的 葡萄 酒 的 数量 。 我 们 可 以 先 通过 映射， 得 到 
一 个 表示 是 否 评 价 过 的 true/false 值 列表 ， 人 然后 将 这 个 列表 规约 ， 对 所 有 的 true/false 计数 。 




















映射 部 分 用 到 collect 函数 ， 如 下 所 示 : 





rated list = g.V.in('grape type') .collectt{ 
!it.inE('reported on') .toList().isEmpty () 
} 

















在 上 和 面 的 代码 中 ， 表 达 式 g.V.in ('grape type') 即 g.V.inE ('grape_ 
type') .outV， 返 回 全 部 有 向 外 关系 grape type 的 节点 。 只 有 wine 节点 才 有 这 样 的 
边 ， 因 此 我 们 得 到 了 系统 中 全 部 wine 节点 的 列表 。 然 后 ， 在 collect 闭 包 中 ， 我 们 会 检 
查 wine 节点 是 否 有 进 边 (incoming edge) reported on。toList() 会 将 某 wine 顶点 的 
所 有 reporteqd _on 边 变 成 一 个 列表 ， 这 样 我 们 就 能 判断 这 个 列表 是 否 为 空 ， 从 而 决定 某 

































































个 wine 顶点 是 否 评价 过 。 


为 统计 多 少 酒 尚未 评价 ， 只 需 用 inject () 方法 充当 规约 器 (reducer)。 














rated list.inject(0){ count, is rated -> 
if (is rated) { 
count 
} else { 


CoOunt: 二" 二 








在 Groovy 中 ， 箭 头 运算 符 〈->) 将 闭 包 的 输入 参数 与 闭 包 体 阳 开 。 在 这 个 规约 器 中 












































要 记录 累计 值 , 还 要 判断 当前 处 理 的 葡萄 酒 是 否 评价 过 , 所 以 这 里 有 count 和 is rated。 
inject (0) 中 的 0 将 count 初始 化 为 0, 然后 在 闭 包 体内 , 对 评价 过 的 葡萄 酒 返回 count 
的 当前 值 ， 对 未 评价 过 的 返回 count+1。 最 终 的 输出 ,就 是 列表 中 false 值 的 总 数 ( 也 就 是 ， 







































































未 评价 的 酒 的 数量 )。 














由 此 可 见 ， 有 两 种 葡萄 酒 尚未 评价 。 
用 这 些 工具 ， 可 以 创建 许多 强大 的 组 合 ， 用 于 图 的 遍历 与 转换 。 假 设 我 们 想 查 找 图 













































































中 


所 有 成 对 的 朋友 。 为 此 ， 首 先 需要 查找 所 有 类 型 为 friends 的 边 ， 然 后 用 transform 
































操作 ， 输 出 共享 该 边 的 两 个 人 的 名 字 。 
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g.V.outE('friends') .transform{[it.outV.name.next(), it.inV.name.next ()]} 


==> [Patty Tom] 
==> [Patty, Alice] 





在 上 述 代 码 中 ，transform 闭 包 的 返回 值 是 包含 两 个 元 素 的 数组 矢量 ([...]): 
friends 边 的 进出 顶点 。 


























为 查找 所 有 的 人 以 及 他 们 喜欢 的 酒 ， 我 们 将 transform 之 前 步 又 所 输出 的 人 friends 
边 的 顶点 ) 转化 为 以 两 个 元 素 对 为 其 元 素 的 列表 : 人 的 name 与 他 喜欢 的 酒 的 列表 。 





















































g.V.both('friends') .dedup.transformt{ 
[ it.name, it.out('likes') .name.toList() ] 
} 


==> [Alice, [Prancing Wolf Ice Wine 2007]] 
= [Patty, TE]d 
==> [Tom, [Prancing Wolf Ice Wine 2007, Prancing Wolf Kabinett 2002]] 














习惯 Gremlin 无 疑 需 要 一 点 时 间 , 特别 是 你 以 前 从 未 用 Groovy 大 量 编程 。 一 旦 你 找到 
窍门 ， 就 会 发 现 Gremin 是 查询 Neo4j 的 利器 ， 表 达 力 强 且 十 分 强大 。 

















7.2.8 特定 领域 的 步骤 




















图 遍历 固然 很 好 ， 但 是 企业 和 组 织 倾向 于 用 特定 领域 语言 进行 对 话 。 比 如 ， 我 们 一 般 
不 会 问 “ 与 和 葡萄酒 顶点 共享 其 向 外 边 grape_type, 并 将 该 边 作为 进入 边 的 顶点 是 什么 ? ” 
而 会 说 “葡萄酒 是 什么 品种 的 ? ” 

其 实 ，Gremlin 已 经 是 特定 于 查询 图 数据 库 领 域 的 一 种 语言 ， 但 是 何不 让 它 更 为 专门 
化 呢 ? 我 们 可 以 这 么 做 ， 在 Gremlin 中 创建 新 的 步骤 ， 这 些 步骤 对 于 图 中 存储 的 数据 ， 在 
语义 上 是 有 意义 的 。 

让 我 们 从 新 建 名 为 varietal 的 步骤 开始 ， 它 用 来 回答 前 面 提 出 的 问题 。 当 在 某 个 顶 
点 上 调用 varietal () 方 法 时 ， 它 会 寻找 类 型 为 grape_type 的 向 外 的 边 ， 然 后 取出 边 
那 端 的 相关 顶点 。 由 于 在 这 里 会 涉及 Groovy， 因 此 我 们 先 来 看 看 创建 步骤 的 代码 ， 然 后 逐 
行进 行 描述 。 
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neo4j/varietal.groovy 
Gremlin.defineSstep( '‘'varietal', 
[Vertex, Pipel], 
{_() .out('grape type') .dedup} 
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第 一 行 告诉 Gremlin 引擎， 我 们 正 要 加 入 称 为 varietal 的 新 步骤 。 第 二 行 告 诉 
Gremlin， 这 个 新 建 的 步骤 varietal 会 附加 到 Vertex (顶点 ) 和 Pipe (管道 ) 类 。 最 
后 一 行 则 是 神奇 所 在 。 事实 上 ， 它 创建 一 个 闭 包 ,而 新 建 的 步 又 就 会 执行 该 闭 包 中 的 代码 。 
其 中 ， 下 划 线 和 圆 括号 表示 当前 的 pipeline 对 象 。 从 这 个 对 象 ， 我 们 通过 grape type 边 
循 到 相关 的 邻 节点 一 一 也 就 是 ， 品 种 〈varietal) 节点 。 我 们 以 dqedup 结尾 ， 以 移 除 任何 可 
能 重复 的 节点 。 


调用 新 建 的 步骤 并 无 什么 不 同 。 比 如 ， 下 面 的 代码 会 获取 冰 和 葡萄 酒 (ice wine) 的 品种 名 称 。 
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g.V.filter{it.name=='Prancing Wolf Ice Wine 2007'}.varietal.name 


==> riesling 














我 们 再 来 尝试 一 次 ， 编 写 一 个 常用 的 步骤 : 获取 所 有 friends 所 喜爱 的 葡萄 酒 。 


















































neo4j/friendsuggest.groovy 
Gremlin.defineStep( 'friendsuggest', 
[Vertex, Pipel], 
{ 
_() .sideEffect{start = it}.both('friends'). 
except ([start]) .out('1ikes') .dedup 











和 上 次 一 样 ， 给 新 步骤 取 名 为 friendsuggest， 并 将 它 绑 定 到 Vertex〔 顶 点) 和 
Pipe〈 管 道 )。 这 次 ， 代 码 通过 将 当前 的 顶点 或 者 pipe 赋值 给 变量 (start) 一 一 使 用 
sideEffect{start= it} 了 水 数 , 过 滤 出 当前 所 处 理 的 人 。 然后 , 再 获取 所 有 的 friends 
节点 ， 其 中 不 包括 当前 所 处 理 的 人 《显然 ， 我 们 不 想 将 Alice 列 为 她 自己 的 朋友 )。 


现在 用 pipe 完成 整个 流程 ， 调 用 新 建 步 又 的 方式 与 往常 无 异 。 






































































































































g.V.filter{it.name=='Patty'}.friendsuggest.name 


==> Prancing Wolf Ice Wine 2007 
==> Prancing Wolf Kabinett 2002 




















由 于 varietal 和 friendsuggest 是 普通 的 基于 管道 (Pipe-building) 的 步骤 ， 
因此 可 以 将 它们 链接 起 来 ， 成 为 更 有 趣 的 查询 。 下 面 的 查询 语句 就 是 由 两 者 组 合 而 成 ， 用 
于 查找 Patty 的 朋友 最 喜欢 的 葡萄 酒 品种 : 











































































































g.V.filter{it.name=='Patty'}.friendsuggest.varietal.name 


==> riesling 

















7.2.9 更 新 、 删 除 与 完成 


你 已 经 插入 一 个 图 ， 然 后 遍历 了 它 ， 但 





修改 的 顶点 或 者 边 ， 处 理 〈 更 新 或 者 删除 ) 它们 是 入 
性 weight， 以 表示 Alice 有 多 喜欢 Prancing Wolf Ice Wine 2007。 
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用 Groovy 元 编程 (metaprogramming) 建立 新 的 步骤 是 一 种 用 于 编写 特定 领域 语言 的 
强大 力量 。 但 是 ， 正 如 Gremin 本 身 ， 这 需要 一 些 实践 来 习惯 与 掌握 。 























是 ， 怎 样 更 新 和 删除 数据 呢 ? 只 要 你 能 找到 想 
简单 的 。 我 们 不 妨 为 边 Likes 增加 属 








如 





gremlin> e=g.V. 





filter{it.name=='Alice'}.outE('likes') .next() 


gremlin> e.weight = 95 


gremlin> e.save 





同样 ， 也 能 方便 地 删除 数据 。 





gremlin> e.removeProperty('weight') 


gremlin> e.save 





在 完成 一 天 的 学 习 和 开始 做 作业 之 前 ， 我 们 还 要 讨论 如 何 清除 数据 库 


切记 ， 完 成 今天 的 作业 后 ， 再 运行 下 面 的 命令 ! 


graph 对 象 ( 即 g) 有 用 来 删除 顶点 与 边 的 函数 ， 分 别 是 函数 removeVertex 与 
《数据库 ) 也 就 析 构 了 。 





removeEdge。 删 除 所 有 的 顶点 和 边 ， 图 
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gremlin> g.V.each{ g.removeVertex (it) 


gremlin> g.E.ea 


ch{ g.removeEdge (it) 


} 


} 





运行 g.V 与 g. 
的 方法 clear () 来 

















川 除 整 个 图 。 




















E， 可 以 验证 是 否 所 有 的 顶点 与 边 都 已 删除 。 或 者 ， 也 能 运行 十 分 危险 








gremlin> g.clear() 


























如 果 你 正 运 行 











shutdown() 明 确 地 关闭 图 连接 。 




















1 的 Gremlin 实例 (Web 界面 中 的 Gremlin 实例 除外 )， 最 好 用 方法 





gremlin> g.shutdown () 











不 关闭 图 连接 的 后 果 是 ， 数 据 库 可 能 
接 图 的 时 候 迪 到 麻烦 。 
































因 

















此 而 崩 江 。 但 














大 





， 通 常 来 说 ， 你 只 会 在 下 次 连 
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7.2.10 第 1 天 总 结 
今天 ， 我 们 大 概 了 解 了 图 数据 库 Neo4j 



































存储 。 
第 1 天 作业 


1. 将 Neo4j 的 wiki 加 入 书签 。 











相 比 其 他 数据 库 ，Neo4j 真 够 与 众 不 同 的 。 
尽管 我 们 没有 讨论 特定 的 设计 模式 ， 但 是 第 一 次 开始 用 Neo4 进行 工作 的 时 候 ， 我 们 的 
脑袋 还 是 会 喻 喻 作 响 ， 涌 现 各 种 灵感 。 只 要 你 能 在 白板 上 画 出 来 ， 你 就 能 在 图 数据 库 中 


























2. 将 Gremlin 的 wiki 或 者 API 中 的 Gremlin 步骤 加 入 书签 。 





3. 找到 两 个 其 他 的 Neo4j shell (比如 ，admin 控制 台中 的 Cypher shell)。 


实践 




















1. 用 其 他 shell (比如 ，Cypher 查询 语言 ) 查询 所 有 节点 的 name。 





2. 删除 你 的 图 数据 库 中 的 所 有 节点 与 边 。 
3. 创建 一 个 代表 你 的 家 庭 的 新 图 。 


7.3 第 2 天: REST、 索 引 与 算法 





























今天 我 们 从 Neo4j 的 REST 接口 开始 , 用 REST 创建 节点 与 关系 , 然后 建立 索引 并 执行 全 














文 搜索 。 接 着 ， 我 们 会 看 一 个 插件 ， 用 于 在 服务 器 上 通过 REST 执行 Gremlin 查询 ， 于 是 ， 代 
码 得 以 摆脱 Gremlin 控制 台 的 束缚 一 一 甚至 ， 索 性 在 应 用 服务 器 与 客户 端 中 运行 Java 程序 。 



























































7.3.1 引入 REST 

















正如 Riak、HBase、Mongo 与 CouchDB ，Neo4j 发 布 的 版 本 包含 REST 接口 。 所 有 这 

















些 数据 库 之 所 以 支持 REST， 原 因 之 一 是 REST 让 我 们 以 标准 的 连接 接口 ， 进 行 编程 语言 无 
关 的 交互 。 尽管 Neo4j 依赖 于 Java, 但 是 我 们 可 以 从 一 台独 立 的 机 器 , 完全 不 用 管 什么 Java， 
就 能 连接 到 Neo4j 与 之 交互 。 而 有 了 Gremlin 插件 ， 我 们 便 能 一 睹 基于 REST 的 简洁 查询 语 





























法 之 威力 。 














首先 ， 你 要 对 基本 URL 执行 GET 方法 ， 获 取 根 节点 ，! 






































此 可 以 检查 REST 服务 器 是 
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否 正常 运行 .REST 运行 的 端口 , 与 你 昨天 所 用 的 web admin 工具 相同 , 路 径 是 /db/data。 
我 们 会 用 向 来 不 辱 使 命 的 curl 程序 来 执行 REST 命令 。 














$ curl http://localhost:7474/db/data/ 
{ 


"relationship index" : "http://localhost:7474/db/data/index/relationship", 
"node™ : "http://localhost:7474/db/data/node", 

"relationship types" : "http://localhost:7474/db/data/relationship/types", 
"extensions info" : "http://localhost:7474/db/data/ext", 

"node index" : "http://localhost:7474/db/data/index/node", 

"extensions™ : { 


} 











这 条 命令 会 返回 一 个 JSON 对 象 , 描述 了 其 他 命令 的 URL， 比 如 ,区 点 操作 或 者 索引 。 














7.3.2 ”用 REST 新 建 节点 与 关系 


用 Neo4j 的 REST 接口 建立 节点 和 关系 ， 与 CouchDB 或 者 Riak 一 样 简单 。 新 建 节点 
只 须 对 路 径 db/data/node 以 POST 方法 提交 JSON 数据 。 方便 起 见 , 每 个 节点 都 会 有 一 
性 ， 便 于 我 们 查看 节点 的 信息 : 直 呼 其 名 即 可 。 






















































































如 


个 name 忆 





$ curl -i -X POST http://localhost:7474/db/data/node \ 
-H "Content-Type: application/json" \ 
-d '{"name": "P.G. Wodehouse", "genre": "British Humour"}' 

















提交 请 求 后 , 你 会 在 HTTP 头 中 取得 节点 路 径 ， HTTP 体 中 则 是 关于 节点 的 元 数据 ( 简 
洁 起 见 ,这 里 不 做 详 述 )。 所 有 这 些 数据 都 可 以 检索 ,只 须 对 给 定 的 HTTP 头 属性 Location 
(或 者 元 数据 中 的 self 属性 ) 中 的 URL 值 调用 GET 方法 。 




















可 


如 









































HTTP/1.1 201 Created 
Location: http://localhost:7474/db/data/node/9 
Content-Type: application/json 


"outgoing relationships" : 
"http://localhost:7474/db/data/node/9/relationships/out", 


vdatay 
"genre™" : "British Humour", 
"name" ; "P.G. Wodehouse"™ 
}, 
"traverse" : "http://localhost:7474/db/data/node/9/traverse/{returnType}", 


"all typed relationships" : 
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ED 
"property" 
"http://localhost:7474/db/data/node/9"™, 


"self™ 


ocalhost:7474/db/data/node/9/relationships/all/{-list|l&|types}", 
"http://localhost:7474/db/data/node/9/properties/{key}", 


"properties™" : "http://localhost:7474/db/data/node/9/properties", 


"outgoing typed relationships 


mm 


ocalhost:7474/db/data/node/9/relationships/out/{-listl&|ltypes}", 

















"http:771 

"incoming relationships" : 
"http://localhost:7474/db/data/node/9/relationships/in", 

"extensions™ : { 

}, 

"create relationship" : "http://localhost:7474/db/data/node/9/relationships", 


"paged traverse" 
"http://localhost:7474/db/.../{returnType}{?pageSize,1leaseTime}", 
"all relationships" : "http://localhost:7474/db/data/node/9/relationships/all", 


"incoming typed relationships" 
"http://localhost:7474/db/data/node/9/relationships/in/{-listl|l&|types}" 





如 果 你 想 要 节点 的 所 有 




















吕 测 
认 


E (不 是 元 数据 )， 可 以 在 GET 方法 的 节点 URL 后 追加 





耳 
时 






































/properties, 或 者 你 想 获 取 某 个 特定 属性 ， 可 以 在 /properties 的 基础 上 ， 再 追加 该 


属性 的 名 字 。 





$ curl http://localhost:7474/db/data/node/9/properties/genre 


"British Humour™ 








I 














一 个 节点 对 我 们 来 说 是 不 够 的 , 继续 创建 节点 , 其 属性 为 ["name" : "Jeeves Takes 


Charge", "style" : "Short story"]。 









































由 于 P.G. Wodehouse 写 了 短篇 小 说 “Jeeves Takes Charge”， 因 此 我 们 可 以 在 已 有 的 两 


个 节点 间 建 立 关 系 。 





$ curl -i -X POST http://localhost:7474/db/data/node/9/relationships \ 
-H "Content-Type: application/json" \ 




















-d '{"to": "http://localhost:7474/db/data/node/10", "type": "WROTE", 
"data"™": "published": "November 28, 1916"™}}' 
REST 接口 的 一 大 好 处 是 ， 在 前 面 HTTP 体 元 数据 的 create_relationship 属性 


























中 ， 已 经 展示 了 如 何 创建 关系 。 在 这 种 方式 下 ，REST 接口 往往 是 相互 启发 的 。 





In 





7.3.3 ”查找 路 径 














通过 REST 接口 ， 以 POST 方式 ， 向 起 始 节点 的 paths URL 提交 数据 ， 可 以 查找 两 个 
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节点 之 间 的 路 径 。POST 请 求 数据 必须 是 一 个 JSON 字符 串 ， 其 中 包含 以 下 信息 ， 你 所 查 
找 路 径 的 终止 节点 、 你 想 循 着 的 关系 类 型 以 及 使 用 的 路 径 查 找 算法 。 

比如 ， 在 这 个 例子 中 ， 从 节点 91 沿 着 类 型 为 WROTE 的 关系 查找 路 径 ， 并 且 使 用 最 短 
路 径 (shortestPath) 算法 ， 在 查找 深度 超过 10 的 时 候 退 出 。 







































































$ curl -X POST http://localhost:7474/db/data/node/9/paths \ 
-H "Content-Type: application/json" \ 
-d '{"to":"http://localhost:7474/db/data/node/10", 


"relationships": {"type™" : "WROTE"}, 
"algorithm":"shortestPath", "max depth":10}' 

E24 
"start™ : "http://localhost:7474/db/data/node/9", 
"nodes™ :; [ 


"http://localhost:7474/db/data/node/9", 
"http://localhost:7474/db/data/node/10" 
] 六 


"length™” : 1, 
"relationships" : [ "http://localhost:7474/db/data/relationship/14" ]， 
"end™" : "http://localhost:7474/db/data/node/10" 


ea] 

















其 他 可 选 的 路 径 算法 包括 全 路 径 (al11Paths) 算 法 、 全 简单 路 径 (al1SimpLlePaths) 
算法 与 迪 科 斯 彻 (dijkstra) 算法 。 从 在 线 文档 * 中 可 以 找到 这 些 算法 的 详细 信息 ， 但 这 
些 内 容 不 在 本 书 的 讨论 范围 之 内 。 
























































7.3.4 ”索引 

















与 我 们 见 过 的 其 他 数据 库 一 样 , Neo4j 能 够 通过 建立 索引 , 支持 快速 数据 查找 。 但 是 ， 
Neo4j 有 其 特殊 之 处 。 对 于 其 他 数据 库 的 索引 ， 所 用 的 查询 方式 与 没有 索引 时 无 异 ， 但 
Neo4j 不 是 这 样 ， 它 的 索引 有 不 同 的 访问 路 径 。 原 因 在 于 ， 索 引 服务 实际 上 是 一 个 单独 的 
服务 。 


最 简单 的 索引 是 键 - 值 (key-value) 或 者 哈 希 (hash) 形式 的 。 可 以 用 某 些 节点 数据 作 
为 键 ，REST URL 作为 值 ， 该 URL 指向 图 中 的 节点 。 可 以 有 任意 数量 的 索引 ， 把 刚 创 建 的 
这 个 索引 命名 为 “authors” URL 的 末尾 会 包含 我 们 想 索引 的 author 的 名 字 ， 并 传 入 节点 1 
作为 值 (图 形 的 Wodehouse 节点 ， 未 必 是 1) 


































































































”原文 是 node 1， 看 起 来 应 该 是 node 9。 译 者 注 
* http://api.neo4j.org/current/org/neo4i/graphalgo/GraphAlgoFactory.html 
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$ curl -X POST http://localhost:7474/db/data/index/node/authors \ 
-H "Content-Type: application/json" \ 

-d '{ "uri" : "http://localhost:7474/db/data/node/9", 

"key”" : "name", "value" : "P.G.+tWodehouse™"}' 






































检索 节点 只 须 简 单 地 访问 索引 ， 不 难 发 现 ， 检 索 返 回 的 不 是 我 们 设置 的 URL， 而 是 实 





际 的 节点 数据 。 





$ curl http://localhost:7474/db/data/index/node/authors/name/P.G.+Wodehouse 





除了 键 值 索引 ，Neo4j 还 提供 了 全 文 搜索 倒 排 索引 ， 所 以 可 以 这 样 执行 查询 : 给 我 所 

















有 名 字 以 “Jeeves” 开 头 的 图 书 。 要 建立 这 种 索引 ， 需 要 对 整个 数据 集 进行 操作 ， 而 非 之 

















前 寻 














个 单独 的 索引 。 与 Riak 一 样 ，Neo4j 集成 了 Lucene 来 建立 倒 排 索引 。 











$ curl -X POST http://localhost:7474/db/data/index/node \ 
-H "Content-Type: application/json" \ 
-d '{"name":"fulltext", "config":{"type":"fulltext","provider":"lucene"}}' 



































上 面 的 POST 请 求 会 返回 一 个 JSON 响应 ， 其 中 包含 了 新 建 索 引 的 信息 。 











"template™" : "http://localhost:7474/db/data/index/node/fulltext/{key}/{value}", 
"provider™" : "lucene", 
"type”" : "fulltext" 





现在 ， 如 果 把 Wodehouse 加 入 全 文 索 引 ， 命 令 如 下 : 





curl -X POST http://localhost:7474/db/data/index/node/fulltext \ 
-H "Content-Type: application/json" \ 

-d '{ "uri™ : "http://localhost:7474/db/data/node/9", 

"key”" : "name", "value" : "P.G.+tWodehouse™"}' 














加 入 全 文 索引 之 后 ， 搜 索 就 如 Lucene 的 索引 URL 查询 语法 一 样 简单 。 





$ curl http://localhost:7474/db/data/index/node/fulltext?query=name:P* 
































此 外 ， 也 可 以 像 上 面 的 命令 





样 ， 对 边 建 立 索引 ， 只 需要 用 关系 实例 替代 URL 中 的 节点 ， 


























比 如， http://localhost:7474/db/data/index/relationship/published/date/ 
1916-11-28。 





7.3.5 REST 与 Gremlin 














版 本 默认 安装 了 该 扣 


可 以 在 N 


则 长 于 部 署 以 及 灵活 性 ， 所 以 两 者 相 辑 
以 下 代码 会 返回 顶点 名 。 只 需 将 数据 作为 JSON 字符 串 值 发 送 到 插件 URL， 这 里 的 碍 














eo4j 中 使 





































































































询 语句 置 于 script 域 中 。 
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我 们 在 第 一 天 讨论 了 Gremlin， 今 天 的 前 一 半 时 间 则 花 在 REST 接 口上 。 如 果 你 对 究竟 


该 用 哪个 感到 疑惑 , 别 担心 , 请 往 下 看 .Neo4j 的 REST 接 口 有 Gremlin 插 件 ( 我 们 使 用 的 Neo4j 
有 件 ) 1。 可 以 通过 REST 发 送 在 Gremlin 控 制 台 中 可 用 的 任何 命令 。 因 此 ， 


入 这 两 个 工 上 其 , 并 能 按 需 做 出 选择 。 


























因为 Gremlin 适 合 复杂 的 查询 , 而 REST 





和 相 成 ， 是 对 很 棒 的 组 合 。 



































$ curl -X POST \ 
http://localhost:7474/db/data/ext/GremlinPlugin/graphdb/execute script \ 
-H "content-type:application/json" \ 


-d '{"script":"g.V.name"}' 


[ "P.G。 Wodehouse", 


"Jeeves Takes Charge"™" |] 














尽 





芭 











从 这 里 开始 ， 代 码 示例 都 会 使 朋 


7.3.6 ”大 数据 





到 目前 为 止 ， 我 们 处 到 














做 些 什 么 。 
我 们 不 妨 从 Freebase.com 抓 取 数 据 集 ， 探 索 一 些 电影 数据 。 我 们 会 使 用 由 制 表 符 作为 








分 隔 符 的 “performance” 数 据 集合 *。 








行 ， 在 新 节点 或 者 已 有 节点 之 | 


注意 ， 这 个 数据 集 包含 大 量 电 影 信息 ， 从 卖座 片 到 外 国电 影 ， 还 有 成 人 娱乐 电影 。 运 
行 这 个 有 


























日 Gremlin， 但 请 记 住 ， 可 以 选择 使 用 REST 代替。 






































的 都 是 很 小 的 数据 集 。 现 在 ， 是 时 候 看 看 Neo4j 可 以 对 大 数据 



































下 载 该 文件 ， 并 使 用 下 面 的 脚本 一 一 该 脚本 遍历 每 一 




















司 创 建 关系 〈 匹 配 是 | 








索引 中 的 名 字 决 定 的 )。 















































本 需要 安装 json 与 faraday Ruby gems。 





Deo4 





j/importer.rb 


REST URL = 'http://1localhost:7474/" 


HEADER = { 


"Content-Type 


=> 'application/json' } 


Sw{rubygems json cgi faraday} .each{|r| require r} 


! http://docs.neo4j.org/chunked/1.7/gremlin-plugin.htm 
2 http://download.freebase.com/datadumps/latest/browse/film/performance.tsv 
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# make a connection to the Neo4j REST server 
conn = Faraday.new(:url => REST URL) do |builderl| 
builder.adapter :net http 


end 


# method to get existing node from the index, or create one 
def get or create node (conn, index, value) 
# look for node in the index 
r= conn.get("/db/data/index/node/#{index}/name/#{CGI.escape (value)}") 
node = (JSON.parse(r.body) .first || })['self'] if r.status == 200 
unless node 
# no indexed node found, so create a new one 





r= conn.post("/db/data/node", JSON.unparse({"name" => value}), HEADER) 
node = (JSON.parse(r.body) || {})['self'] if [200, 201] .include? r.status 
# add new node to an index 
node data = "{\"uri\™ : \"#{node}\", \"key\™" : \"name\", 
\"value\™ : \"#{CGI.escape (value) }\"}" 

conn.post ("/db/data/index/node/#{index}", node data, HEADER) 

end 

node 

end 


puts "begin processing...™ 


count = 0 
File.open (ARGV[0]) .each do 11inel 
,1 _, actor, movie = line.split("\t") 


next if actor.empty? || movie.empty? 

# build the actor and movie nodes 

actor node = get or create node (conn, ‘actors', actor) 
movie node = get or create node (conn, 'movies', movie) 
# create relationship between actor and movie 

conn .post ("#{actor node}/relationships", 


JSON .unparse({ :to => movie node, :type => 'ACTED IN' }), HEADER) 


puts ™ #{count} relationships loaded" if (count += 1) 多 100 == 0 
end 


puts "done!™ 








， 运 行 这 个 脚本 即 可 。 


I 





一 些 就 绪 ， 只 要 对 下 载 的 Performance .tsv 文 伯 
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$ ruby importer.rb Performance .七 sSV 





















































处 理 完全 部 数据 可 能 要 花 儿 个 小 时 , 但 是 可 以 在 任何 时 候 停 下 来 ， 从 而 获得 部 分 的 电影 
/演员 列表 。 如 果 用 的 是 Ruby 1.9， 最 好 用 builder.adapter:em synchrony 替换 
builder.adapter: net_http， 以 便 创 建 一 个 非 阻塞 的 连接 。 












































7.3.7 ”功能 全 面 的 算 ; 
































| 











为 了 处 理 这 个 数据 量 很 大 :的 电影 数据 集 , 我 们 暂时 放下 REST 接 口 , 重新 使 用 Gremlin。 











1. 会 我 其 谁 ，Kevin Bacon 


我 们 来 找 点 乐趣 ， 实 现 一 个 更 为 著名 的 图 算法 : Kevin Bacon 算法 。 这 个 算法 源 于 一 个 
游戏 通过 共同 出 演 的 电影 ， 找 出 任意 一 个 演员 与 Kevin Bacon 的 最 短 距离 。 举 例 来 说 ， 
Alec Guinness 与 Theresa Russell 一 起 参 演 了 《Kafka》, 而 Theresa Russell 义 在 《Wild Things》 
中 与 Kevin Bacon 合作 。 


在 继续 之 前 ， 打 开 Gremlin 控制 台 ， 启 动 图 。 然 后 会 用 如 下 代码 ， 创 建 costars 自 
定义 步骤 。 这 与 昨天 的 friendsuggest 类 似 ,， 下面 的 代码 查找 某 个 演员 节点 的 联合 主演 
( 即 ， 与 一 个 演员 所 演出 的 电影 相连 的 演员 )。 

























































































neo4j/costars.groovy 





Gremlin.defineStep( 'costars', 
[Vertex, Pipel], 
{ 
_().sideEffect{start = it}.outE('ACTED IN'). 
inV.inE('ACTED IN') .outV.filtert 
lstart.equals (it) 
} .dedup 





























在 Neo4 里 ,“ 和 查询 ” 值 不 同 于 “遍历 ”图 。 其 中 列 藏 的 好 处 是 ， 一 般 来 说 ， 治 图 遍历 
到 的 第 一 个 节点 距离 起 始 节 点 最 近 【〔 依 据 原始 的 边 /节点 距离 ， 而 非 加 权 距 离 )。 查 询 起 始 
与 终止 节点 ， 代 码 如 下 所 示 。 

















gremlin> bacon = g.V.filter{it.name=='Kevin Bacon'}.next() 
gremlin> elvis = g.V.filter{it.name=='Elvis Presley'}.next() 














' 在 处 理 小 规模 问题 时 效率 很 低 ， 这 是 因为 算法 时 间 效 率 中 的 常量 很 大 ， 而 问题 往往 规模 很 小 。 除 非 你 知道 你 遇 到 的 常常 
是 复杂 的 情况 ， 否 则 就 让 代码 丑陋 但 是 简单 而 高 效 吧 。 详 细 信 息 参 见 http://users.ece.utexas.edu/~~adnan/pike.html。 一 一 译 
者 注 
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先 查 找 茶 个 演员 的 联合 主演 的 联合 主演 的 联合 主演 …… 经 典 的 终止 距离 是 六 度 ， 但 实 
际 上 ， 在 四 度 我 们 就 能 停 下 了 《如 果 你 没 找到 匹配 的 ， 可 以 重 试 )。 这 里 我 们 可 能 循环 图 4 
次 ， 查 找 所 有 “四 度 ” 的 演员 。 我 们 会 使 用 刚 建 立 的 costars 步 又。 












































由 3 
本 




















elvis.costars.loop(1) {it.loops < 4} 




















只 有 能 够 到 达 Bacon 的 顶点 才 会 保留 。 所 有 其 他 顶点 都 忽略 。 








elvis.costars.loop(1){ 
it.loops < 4 
} .filter{it.equals (bacon)} 











为 确保 不 回溯 到 Kevin Bacon 节点 做 第 二 遍 循环 ， 需 要 剔 出 bacon 节点 的 短路 路 径 。 
或 者 ， 换 名 话说， 只 要 循环 不 满 4 次 且 没 有 遇 到 bacon 节点 ， 就 继续 循环 。 然 后 输出 到 达 
每 个 bacon 节点 的 路 径 。 






































elvis.costars.1loop(1){ 
it.loops < 4 & !it.object.equals (bacon) 
} .filter{it.equals (bacon) } .paths 

















这 样 ， 只 需 取出 可 能 路 径 列 表 中 的 第 一 条 路 径 一 一 最 早 到 达 的 最 短路 径 。>> 记 法 用 于 
弹出 所 有 节点 列表 中 的 第 一 个 元 素 。 




















(elvis.costars.loop(1){ 
it.loops < 4 & !it.object.equals (bacon) 
} .filter{it.equals (bacon) }.paths >> 1) 











最 后 ， 得 到 每 个 顶点 的 名 字 ， 并 用 Groovy 的 grep 命令 ， 过 滤 掉 任何 值 空 的 边 数 据 。 


























(elvis.costars.loop(1){ 
it.loops < 4 & !it.object.equals (bacon) 
} .filter{it.equals (bacon)}.paths >> 1) .name.grep{it} 


==>Elvis Presley 
==>Double Trouble 
==>Roddy McDowall 
==>The Big Picture 
==>Kevin Bacon 

















我 们 不 知道 谁 是 Roddy McDowall， 但 这 正 是 图 数据 库 的 美妙 之 处 。 得 到 想 要 的 答案 ,我 
们 却 不 必 了 解 每 个 细节 。 如 果 想 要 更 为 精彩 的 查询 输出 ， 尽 你 所 能 提炼 你 的 Groovy 代码 吧 ， 
但 是 数据 仍然 在 那里 。 
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2.， 随机 遍历 

在 寻找 大 数据 集中 的 范例 时 ， 一 个 有 用 的 方法 是 “随机 过 历 ”。 可 以 从 随机 数 产 生 器 
开始 。 





rand = new Random () 























然后 ， 可 以 过 滤 出 占 总 数 某 个 
约 三 分 之 一 电影 ， 





























标 比 例 的 对 象 。 如 果 我 们 想 只 返回 Kevin Bacon 的 大 
k 60 部 ， 取 小 于 0.33 的 随机 数 即 可 。 



































bacon.outE.filter{rand.nextDouble() <= 0.33}.inV.name 





最 终 返回 的 会 是 Bacon 的 作品 中 20 个 左右 随机 的 电影 名 。 


从 Kevin Bacon 做 两 度 查询 ， 即 他 的 联合 主演 的 联合 主演 ， 会 创建 一 个 相当 大 的 列表 
(该 数据 集 里 有 不 止 300 000 条 )。 























Dacon .out 





E.inV.inE.outV.loop(4){ 
Loops <,3 











} .count () 

==> 316198 

但 是 如 果 你 只 需要 该 列表 的 1100， 增 加 一 个 过 滤器 。 同 时 ， 需 要 注意 ， 过 滤器 本 身 
也 是 一 个 步 又， 所 以 要 将 loop 数字 加 一 。 


pacon .outE{ 





rand.nextDouble() <= 0.01 

}-inV.inE.outV.loop (5})t 
it.loops < 3 

} .name 





























我 们 会 在 结果 中 找到 Elijah Wood, 根据 Bason 路 径 算法 , 以 两 步 找到 他 是 合理 的 (Elijah 
Wood 在 《Deep Impact》 中 与 Ron Eldard 合作 , Ron 与 Kevin Bacon 一 起 参 演 了 《Sleepers》) 。 
3. 关于 中 心 度 
心 度 是 对 全 图 中 单个 节点 的 度量 


量 。 比 如 ， 如 有 果 我 人 
的 距离 ， 度 量 其 重要 性 ， 这 就 需要 一 个 中 心 度 算 涪 


最 著名 的 












































想 基 于 每 个 节点 到 其 他 所 有 节点 


mal 






































心 度 算法 英 过 于 Google 的 PageRank， 但 这 也 分 为 若干 类 型 。 我 们 将 执行 
一 个 称 为 特征 向 量 中 心 度 (eigenvector centrality) 的 简单 版 本 ， 它 仅 计 算 某 节点 的 进出 边 
的 数目 。 我 们 会 给 每 个 演员 节点 一 个 数字 ， 表 示 其 出 演 的 角色 的 数量 
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我 们 需要 用 groupCount () 产生 一 个 map， 还 需要 一 个 变量 count 表示 循环 的 最 大 
次 数 。 








role count = [:]; count = 0 


g.V.in.groupCount (role_count) .LIoop (2){ count++ < 1000 }; ""' 




















role_count 英 射 的 键 为 顶点 ， 值 为 该 顶点 拥有 的 边 的 数目 。 查 看 这 个 map 最 简便 的 方 
式 就 是 将 它 排序 。 





























role count.sort{a,b -> a.value <=> b.value} 




















在 排序 之 后 ， 排 列 在 最 后 的 是 出 演 最 多 作品 的 演员 。 在 该 数据 集中 ， 这 项 荣誉 属于 传 
奇 配 音 演 员 Mel Blanc， 以 424 部 代表 作 问 易 《〈 可 以 用 这 条 命令 把 这 些 影 片 都 列 出 来 : 


g.V.filter{it.name=='Mel Blanc'} .out.name)。 

外 部 算法 

你 可 以 自己 写 算法 , 但 大 部 分 算法 都 是 现成 的 , JUNG (Java Universal Network/Graph) 
框架 包含 了 常用 的 图 算法 , 以 及 图 建 模 与 可 视 化 的 若干 工具 。 我 们 得 感谢 Gremlin/Blueprint 


项 目 ， 有 了 它 我 们 得 以 方便 地 访问 JUNG 的 算法 ,如 ,PageRank、HITS、Voltage、centrality 
algorithms， 以 及 graph-as-a-matrix 工具 。 











































































































要 使 用 JUNG 框 架 ， 需 要 将 Neo4j 图 包装 成 JUNG 图 !。 而 访问 JUNG 图 ， 有 两 种 选择 : 
下 载 Blueprint 与 JUNG 的 全 部 jar 文 件 ， 并 安装 到 Neo4j 服 务 器 的 lib 目 录 ， 然 后 重启 服务 器 ; 
或 者 下 载 预先 打包 好 的 Gremlin 控 制 台 。 在 此 ， 我 们 推荐 后 者 ， 因 为 这 会 避免 不 少 寻找 若干 
Java 压 缩 文件 〈jar) 的 麻烦 。 


假设 你 已 经 下 载 了 gremlin 控制 台 ， 关 闭 neo4j 服务 器 ， 启 动 Gremlin。 你 必须 创建 一 
个 Neo4jGraph 对 象 ， 并 将 它 指 向 你 的 data/grapnh 目录 。 











































































































g = new Neo4jGraph('/users/x/neo4j-enterprise-1.7/data/graph.db') 








我 们 会 保留 Gremlin 图 的 名 字 不 变 ， 依 然 为 g。 而 该 Neo4jGraph 对 象 需要 包 事 于 
GraphJung 对 象 j 之 ! 




















] = new GraphJung( 9 ) 





Kevin Bacon 之 所 以 被 选 作 终 极 路 径 的 终点 , 部 分 原因 是 他 与 其 他 演员 关联 较 多 一 一 他 
与 当红 影星 一 起 出 演 电 影 。 但 更 为 重要 的 是 ， 他 其 实 不 必 亲 自 参 演 很 多 角色 ， 与 其 他 演员 





















































! http://blueprints.tinkerpop.com 
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产生 联系 ， 而 只 要 简单 地 与 本 身 就 有 很 多 联系 的 演员 相关 联 即 可 。 

这 就 产生 了 一 个 问题 : 我 们 能 和 否 找到 比 Kevin Bacon 更 为 适合 的 演员 ， 来 度量 其 与 其 
他 演员 的 距离 ? 
JUNG 包含 名 为 BarycenterScorer 的 评分 算法 , 该 算法 基于 每 个 顶点 到 其 他 所 有 顶点 的 
距离 ， 为 该 顶点 评分 。 如 果 Kevin Bason 的 确 是 最 佳 选择 ， 我 们 预期 他 的 分 数 是 最 低 的 
这 意味 着 他 与 所 有 其 他 演员 “最 近 ” 
因为 JUNG 算法 只 应 用 于 演员 ， 所 以 构建 一 个 转换 器 将 所 有 的 演员 节点 滤 出 。 
EdgeLabelTransformer 会 滤 出 带 有 指向 该 算法 的 边 ACTED IN 的 节点 。 




































































~ 













































































t = new EdgeLabelTransformer (['ACTED IN'] as Set, false) 




















下 一 步 ， 需 要 导入 算法 本 身 ， 传 入 GraphJung 与 转换 器 。 








import edu.uci.ics.jung.algorithms.scoring.BarycenterScorer 
barycenter = new BarycenterScorer<Vertex,Edge>( j, 七 ) 











> 后， 就 能 获得 任意 节点 的 BarycenterScorer 评分 。 我 们 来 看 看 Kevin Bacon 的 分 数 是 
多 少 。 














bacon = g.V.filter{it.name=='Kevin Bacon'}.next() 
bacon score = barycenter.getVertexScore (bacon) 


一 0.0166 











一 旦 有 了 Kevin Bacon 的 分 数 ， 就 可 以 遍历 所 有 项 点 并 将 低 于 这 个 分 数 的 顶点 保存 
下 来 。 























connected = [:] 

















为 数据 库 中 的 每 个 演员 计算 BarycenterScorer 评分 会 花费 相当 长 的 时 间 。 所以, 简化 一 
下 ， 对 Kevin 的 联合 主演 执行 该 算法 。 这 会 执行 若干 分 钟 。 具 体 情况 取决 于 硬件 条 件 。 尽 
管 BarycenterScorer 算法 相当 快 ， 但 Bacon 的 每 个 联合 主演 的 计算 时 间 累 计 下 来 ， 还 是 很 
可 观 的 。 






























































Dacon.costars.each{ 
Score = barycenter.getVertexScore (it); 
if(score < bacon score) { 
connected[it] = score; 
} 
} 
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在 映射 connected 中 的 所 有 键 都 表示 优 于 Kevin Bacon 的 选择 。 但 是 ， 最 好 有 个 我 
们 熟识 的 名 字 ， 所 以 我 们 不 妨 把 他 们 都 输出 ， 挑 选 个 我 们 喜欢 的 。 你 得 到 的 输出 可 能 与 我 
们 的 不 同 ， 因 为 开放 的 电影 数据 集 总 是 在 变 的 。 
























































connected.collect{k,v -> k.name + " => "+ V} 


Donald Sutherland => 0.00925 
Clint Eastwood => 0.01488 








Donald Sutherland 作为 一 名 可 敬 的 演员 ， 分 数 约 为 0.009 25。 因 此 ， 假 设 Donald 
Sutherland 的 六 度 比 Kevin Bacon 的 传统 六 度 更 适合 与 你 的 朋友 玩 这 个 游戏 。 


有 了 jj 图 ， 现在 可 以 执行 任何 JUNG 算法 ， 比 如 ，PageRank。 像 BarycenterScorer 一 
样 ， 需 要 先导 入 类 。 






































import edu.uci.ics.jung.algorithms.scoring.PageRank 
pr = new PageRank<Vertex,Edge>( j, t, 0.25d ) 




















JUNG 算法 的 完整 列表 可 以 在 其 在 线 Javadoc API 中 找到 。 其 中 ,逐渐 加 入 越 来 越 多 的 
算法 ， 因 此 在 自己 实现 算法 之 前 ， 不 妨 先 看 看 有 没有 现成 的 。 























7.3.8 第 2 天 总 结 




















在 第 2 天 里 ， 我 们 学 习 了 REST 接口 ， 从 而 扩 宽 了 与 Neo4j 交互 的 能 力 。 我 们 还 讨论 
了 如 何 使 用 Gremlin 插件 ， 于 是 我 们 可 以 在 服务 器 上 执行 Gremlin 代码 并 通过 REST 接口 
返回 结果 。 接 着 ， 我 们 处 理 了 更 大 的 数据 集 ， 最 后 通过 几 个 算法 深入 挖掘 了 这 些 数 据 。 


第 2 天 作业 

查找 

1. 将 Neo4j 的 RESTAPI 文档 加 入 收藏 夹 。 

2. 将 JUNG 项 目的 API 与 它 实现 的 算法 加 入 收藏 夹 。 

3. 为 你 最 喜爱 的 编程 语言 找到 一 个 绑 定 或 者 REST 接口 。 

成 

1. 将 Kevin Bacon 算法 的 路 径 发 现 部 分 ， 转 化 为 一 个 步 又。 然后， 实现 一 个 Groovy 
函数 ， 输 入 参数 为 图 以 及 两 个 名 字 ， 功 能 是 比较 距离 。 














































































































可 
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2， 对 一 个 节点 (或 者 API 所 需 的 数据 集 )， 选 择 并 运行 一 个 JUNG 算法 。 











3. 安装 你 选择 的 驱动 程序 ， 用 它 管 理 你 的 公司 图 一 一 图 中 包含 公司 人 员 以 及 他 们 的 
9 色 , 边 则 描述 了 人 员 间 的 交互 关系 (reports tt，works with)。 如 果 你 的 公司 很 大 ， 
就 用 你 所 在 的 团队 代 蔡 ;如 果 你 的 公司 太 小 ， 就 引入 一 些 客户 。 然 后 ， 通 过 计算 
到 其 他 所 有 节点 的 最 短 距 离 ， 找 到 整个 组 织 架构 中 关联 最 紧密 的 人 。 





























Ni 
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我 们 将 学 习 如 何 使 Neo4j 更 适用 于 关键 任务 ， 并 以 此 总 结对 于 Neo4j 的 研究 。 首 先 ， 
我 们 会 看 到 Neo4j 如 何 通 过 遵守 ACID 的 事务 ， 来 保证 数据 的 稳定 。 然 后 ， 我 们 会 安装 并 
配置 Neo4j 高 可 用 性 (High Availability，HA) 集群 ， 提 升 高 强度 读 操 作 负 载 时 的 可 用 性 。 
最 后 ， 我 们 将 学 习 备份 策略 ， 保 证 数据 的 安全 。 










































































NEO4J 可， 

形状 的 图 ， 也 

你 在 白板 上 画 什 么 ， 
NEO4J 就 能 实现 什么 

















太 棒 了 !! 有 个 事情 ， 我 心心 
念 念 不 是 一 天 两 天 了 


a 


图 7-9 白板 友好 














Neo4j 是 一 个 支持 原子 性 、 一 臻 性、 隔离 性 以 及 持久 性 (ACID) 事务 的 数据 库 ， 这 与 
PostgreSQL 是 类 似 的 。 这 使 Neo4j 成 为 重要 数据 存储 的 一 种 不 错 选 择 ， 而 对 于 这 一 领域 我 
们 往往 会 采用 关系 数据 库 。 与 我 们 所 认识 的 事务 一 样 ，Neo4j 的 事务 也 是 “全 部 或 全 无 ” 
Call-ormnothing) 的 操作 。 一 旦 某 个 事务 开始 执行 ， 每 个 后 续 操 作 都 会 作为 一 个 原子 单位 ， 
成 功 或 者 失败 一 一 一 处 失败 即 是 全 部 失败 。 







































































关于 事务 如 何 处 理 的 细节 涉及 底层 中 名 为 Blueprint 且 基 于 Neo4j 的 包装 项 目 , 这 超出 
了 Gremlin 的 范围 .而 具体 细节 随 版 本 变化 有 所 不 同 . 这 里 用 的 是 Gremlin 1.3, 对 应 Blueprint 
1.0。 如 果 你 用 了 不 同 的 版 本 ， 可 以 在 Blueprint API Javadocs 里 找到 对 应 的 具体 细节 。 
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与 PostgreSQL 一 样 ， 单 行 的 基本 函数 自动 成 为 隐 式 事务 。 为 演示 多 十 
图 对 象 以 关闭 自动 事务 模式 ， 让 Neo4j 知道 我 们 要 手动 处 理事 务 。 可 以 通过 函数 
setTransactionMode () 改变 事务 模式 。 



























































gremlin> g.setTransactionMode (TransactionalGraph.Mode .MANUAL) 








利用 startTransaction() 和 stopTransaction (conclusion) ,可 以 启动 停止 
图 对 象 的 事务 。 在 停止 事务 时 ， 还 需要 标记 事务 是 否 成 功 执行 。 和 否则 ，Neo4j 可 能 回 滚 从 
事务 开始 起 的 所 有 命令 。 把 事务 放 在 try/catch 代码 块 中 是 个 好 主意 ， 这 能 确保 一 旦 出 现 异 


常 ， 就 会 触发 回 深 。 





















































g.startTransaction () 
try { 
// execute some multi-step graph stuff here... 
g.stopTransaction (TransactionalGraph.Conclusion.SUCCESS) 
} catch(e) { 
g.stopTransaction (TransactionalGraph.Conclusion .FAILURE) 
} 





























如 果 你 想 在 Gremlin 之 外 直接 操作 并 使 用 Neo4j 的 EmbeddedGraphDatabase， 你 
就 可 以 用 事务 的 Java API 语法 。 而 一 旦 用 Java 或 者 底层 实现 为 Java 的 语言 ( 像 Ruby) 写 
代码 ， 就 不 得 不 用 相应 的 代码 风格 。 

















r= 9.g9etRawGraph () 

tx = r.beginTx () 

try { 
// execute some multistep graph stuff here... 
tx.success () 

} finally { 
txaofinlisl(y 

} 














上 面 提 到 的 两 种 方式 都 能 提供 ACID 事务 的 全 面 保证 。 即 使 系统 发 生 故 障 ， 也 能 保证 
任何 写 操作 在 服务 器 恢复 时 全 部 回 深 。 如 果 不 需要 手动 处 理事 务 ， 最 好 将 事务 模式 保持 为 


TransactionalGraph.Mode.AUTOMATIC。 





o 


























FE 


7.4.2 ”高 可 用 性 

















“能 实现 大 规模 图 数据 库 吗 ? ”可 以 ,但 是 有 若干 前 提 ， 高 可 用 性 模式 就 是 Neo4j 支持 
大 规模 图 数据 库 的 一 种 方式 。 因 为 对 一 个 从 节点 的 一 次 写 入 操作 不 会 立刻 同步 到 其 他 所 有 
从 点 ,所 以 存在 这 样 的 风险 一 一 在 一 段 时 间 内 《最 终 还 是 能 保证 一 致 性 的 )， 会 失去 数据 
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一 致 性 (CAP 意义 上 的 一 致 性 )。HA 会 导致 事务 无 法 完全 遵循 ACID 。 因 此 ，Neo4j 的 HA 
只 是 作为 增加 读 操 作 能 力 的 一 种 解决 方案 。 

正如 Mongo 一 样 ， 集 群 中 的 服务 器 会 选 出 一 个 主 节 点 ， 作 为 数据 的 主 副本 。 然 而 ， 与 
Mongo 不 同 的 是 ， 从 节点 接受 写 操 作 。 对 从 节点 的 写 操作 会 与 主 节 点 同步 ， 然 后 进一步 扩 
散 到 其 他 从 节点 。 






































7.4.3 ”HA 集群 




















为 了 应 用 Neo4j 的 HA， 必 须 先 建立 一 个 集群 。Neo4j 使 用 名 为 Zookeeper 的 外 部 集群 
协调 服务 ， 它 是 从 Apache Hadoop 项 目 衍生 而 来 的 另 一 个 出 色 项 目 ， 是 一 个 协调 分 布 式 应 
用 的 通用 服务 。 它 被 Neo4j HA 用 于 生命 周期 活动 的 管理 。 每 个 Neo4j 服务 器 都 有 自己 的 
任务 协调 者 ， 管 理 其 在 集群 中 的 职责 一 一 如 图 7-10 所 示 。 
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图 7-10 三 个 服务 器 组 成 的 Neo4 集群 及 其 协调 者 
































幸运 的 是 ， Neo4j 企 业 版 捆绑 了 Zookeeper 以 及 一 些 帮 我 们 配置 集群 的 文件 。 我 们 打算 
运行 3 个 Neo4j 企 业 版 1.7 的 实例 。 你 可 以 从 网 站 下 载 适合 于 所 用 操作 系统 的 副本 〔 确 保 
选择 正确 的 版 本 ) !， 然 后 解压 ， 并 创建 另 两 个 副本 。 我 们 以 1、2 与 3 作为 实例 的 后 级 ， 
并 以 此 引用 它们 。 
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tar fx neo4j-enterprise-1.7-unix.tar 


! http://neo4j.org/download/ 
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mv neo4j-enterprise-1.7 neo4j-enterprise-1.7-1 


cp -R neo4j-enterprise-1.7-1 neo4j-enterprise-1.7-2 


cp -R neo4j-enterprise-1.7-1 neo4j-enterprise-1.7-3 





现在 ， 我们 有 同一 数据 库 的 三 个 相同 的 副本 。 
一 般 来 说 ， 需 要 在 每 个 服务 器 上 放置 一 个 副本 ， 并 配置 集群 ， 




















他 服务 器 的 存在 。 














让 每 个 服务 器 都 知道 其 

















但 是 ， 由 于 我 们 在 本 地 运行 这 些 数据 库 副 本 ， 因 


























不 同 的 端口 运行 它们 就 可 以 了 。 


按照 下 面 的 5 步 


务 器 。 












































1) 为 每 个 协调 者 服务 器 设置 唯一 的 ID 


























此 只 要 在 不 同 的 目录 与 


| 建 集群 ， 首 先 配 置 Zookeeper 集群 协调 者 ， 然 后 配置 Neo4j 服 














2) 配置 每 个 协调 者 服务 器 ， 使 它 与 其 他 协调 者 服务 器 以 及 它 所 属 的 Neo4j 服务 器 

















交互 。 








3) 启动 三 个 协调 者 服务 器 。 











4) 配置 每 个 Neo4j 服务 器 以 HA 模式 运 分 配 唯 一 的 端 














存在 。 

















5) 启动 三 个 Neo4j 服务 器 。 

















Zookeeper 通过 


分 别 设置 为 2 与 3 























二 每 个 服务 器 在 集群 中 的 唯一 ID 记录 其 状态 。 
data/coordinator/myid 中 的 唯一 值 。 对 服务 器 1， 用 默认 值 1; 





























， 并 让 它们 知道 集群 的 


























ID 的 数字 是 存 于 文件 
服务 器 2 和 服务 器 3 





echo "2" > neo4j-enterprise-1.7-2/data/coordinator/myid 


echo "3" > neo4j-enterprise-1.7-3/data/coordinator/myid 





我 们 还 必须 简 


j 单 





















































上 述 集 群 内 部 的 一 些 通 信 设 置 。 每 个 服务 器 都 会 有 一 个 名 为 





conf/coord.cfg 的 文件 。 我 们 会 看 到 变量 server.1 的 默认 值 为 代表 服务 器 的 


localhost 与 两 个 端口 : quorum 选举 端 


1. 构建 集群 


























(2888) 与 主 节点 选举 端口 (3888)。 














Zookeeper quorum 是 集群 中 的 一 组 服务 器 , 以 及 它们 之 间 相 互通 信 的 端口 (不 要 与 Riak 





中 的 quorum 混淆 ，Riak 中 的 quorum 意 指 保证 一 致 性 的 数量 )。 主 
器 宕 机 时 使 用 这 个 特殊 端口 用 来 让 余下 的 正常 服务 器 选 出 一 个 新 的 主 服务 器 。 


保留 变量 server .1 的 默认 值 ， 并 将 后 续 端 口 赋 给 server.2 与 server.3。 服 务 






























































节点 选举 端口 在 主 服务 














1、2 和 3 中 的 文件 coord.cfg 必须 包含 相同 的 三 行 。 








server.1=localhost:2888:3888 
server.2=localhost:2889:3889 
server.3=localhost:2890:3890 

















最 后 ， 还 必须 设置 Neo4j 可 能 连接 的 公共 端口 。 因 为 这 个 clientPort 端口 默认 为 
2181， 所 以 保留 服务 器 1 的 值 。 对 服务 器 2 和 服务 器 3， 分 别 设置 为 clientPort=2182 
以 及 clientPort=2183 。 如 果 你 的 机 器 已 经 使 用 了 这 些 端 口中 的 某 个 ， 可 以 随时 按 需 更 改 ， 
有 量 我 们 依然 会 用 被 占用 的 端口 描述 后 面 的 步骤 。 


2. 协调 


用 Neo4j 团队 提供 的 便捷 脚本 启动 Zookeeper 协调 者 。 然 后 在 每 台 服 务 器 的 目录 中 运 
行 如 下 命令 





































































































sw 







































































bin/neo4j-coordinator start 
Starting Neo4]j Coordinator...WARNING: not changing user 


process [36542]... waiting for coordinator to be ready. OK. 








现在 ， 协 调 者 服务 运行 了 ， 但 是 Neo4j 并 没有 启动 。 
3， 连 线 Neo4j 


下 一 步 ， 需 要 设置 Neo4j， 让 它 运 行 于 HA 模式 ， 然 后 再 连接 到 协调 者 服务 器 。 打 开 
文件 conf/neo4j-server.properties， 对 于 每 个 Neo4j 实例 都 增加 如 下 一 行 : 








上 

















org.neo4j .server.database.mode=HA 





























这 行 配置 使 Neo4j 运行 于 HA 模式 ; 截止 目前 ,我们 一 直 还 运行 在 SINGLE 模式 。 当 编 
辑 这 个 配置 文件 时 ， 把 Web 服务 器 端口 设置 成 唯一 的 数字 。 一 般 来 说 ， 就 用 默认 端口 7474， 
但 是 由 于 在 同一 个 机 器 上 运行 三 个 Neo4j 实例 ， 因 此 不 能 让 http/https 端口 重复 使 用 。 对 于 服 
务 器 1 用 端口 7471/7481， 对 于 服务 器 2 用 端口 7472/7482， 对 于 服务 器 3 用 端口 7473/7483 。 












































































































































org.neo4j.server.webserver.port=7471 
org.neo4j.server.webserver.https.port=7481 














最 后 ， 让 每 个 Neo4j 实例 连接 到 其 中 一 个 协调 者 服务 器 。 如 果 打 开 了 服务 器 1 的 配置 
文件 conf/neo4j .properties， 就 会 看 到 若干 行 以 ha 开头 的 注释 的 内 容 。 这 些 其 实 
是 关于 HA 的 设置 , 描述 了 3 件 事 : 当前 机 器 的 号 码 (ID)、zookeeper 服务 器 列表 以 及 neo4j 
服务 器 用 来 与 其 他 服务 器 通信 的 端 
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对 于 服务 器 1， 为 neo4j .properties 属性 添加 如 下 字段 : 








Raul 





ha.server id=1 
ha.coordinators=localhost:2181,1localhost:2182,1localhost:2183 
ha.server=localhost:6001 


ha.pull interval=1 



































对 于 另 两 个 实例 ， 配 置 是 类 似 的 ， 只 需 注 意 两 点 : 对 于 服务 器 2ha .server_ id=2， 
对 于 服务 器 3 则 ha.server id=3; 男 外 ，ha .server 必须 使 用 不 同 的 端口 (服务 器 2 
] 6002， 服 务 器 3 用 6003 )。 再 次 说 明 ， 如 果 Neo4 实例 运行 于 不 同 的 机 器 ， 端 口 是 不 必 
修改 的 。 服 务 器 2 的 配置 包含 如 下 内 容 (对 于 服务 器 3 类 似 ): 










































































ha.server id=2 
ha.coordinators=localhost:2181,1localhost:2182,1localhost:2183 
ha.server=localhost:6002 


ha.pull interval=1 








把 pull interval 设置 为 1， 意 为 每 个 从 节点 检查 主 节 点 更 新 的 间隙 为 1 秒 。 一 般 来 
说 ,不 会 把 值 设 置 得 这 么 小 , 之 所 以 这 么 设置 ,是 为 了 看 到 插入 的 演示 数据 会 立刻 更 新 到 各 个 
节 反 。 







































































Neo4j HA 服务 器 配置 完毕 后 ,就 该 启动 了 。 与 协调 者 服务 器 的 启动 脚本 一 样 ， 在 安装 
目录 中 启动 每 个 neo4j 实例 。 





























bin/neo4j] start 








通过 查看 日 志文 件 的 后 若干 行 ， 你 可 以 看 到 服务 器 的 输出 。 




















tail -f data/log/console.1og 





每 个 实例 都 会 连接 到 它 相 应 的 协调 者 服务 器 。 
4. 验证 集群 状态 


首先 启动 的 服务 器 会 成 为 主 服 可 能 是 服务 器 1， 也 可 能 不 是 。 可 以 打开 相应 
Neo4j 实 例 的 Web 管 理 页面 ， 验 证 其 是 否 为 主 服 务 器 (我 们 之 前 将 管理 端口 设置 为 7471)。 
点 击 页 面 顶 端的 Server Info 链 接 ， 以 及 侧 边 菜单 的 High Available1。 


High Available 下 的 属性 列 出 了 这 个 集群 的 信息 。 如 果 这 个 服务 器 是 主 服 务 器 ， 对 应 
的 属性 为 真 ， 如 果 不 是 主 服 务 器 ， 可 以 在 InstancesInCluster 下 找到 哪个 服务 器 成 为 主 服 























































































































! http://localhost:7471/webadmin/#/info/org.neo4j/High%20Availability/ 
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务 器 。 


列 出 的 内 容 包括 每 个 相互 连接 的 服务 器 ， 服 务 器 的 ID (machine ID )， 服 务 器 是 否 为 主 
服务 器 以 及 一 些 其 他 信息 。 

5， 验 证 副本 

集群 启动 并 开始 运行 ， 你 可 以 验证 服务 器 是 否 正确 地 维护 副本 。 如 果 一 切 正常 ， 任 何 
对 从 服务 器 的 写 操 作 都 会 传达 主 服 务 器 节点 ， 并 且 最 终 应 用 于 其 他 的 从 服务 器 。 打 开 三 个 
服务 器 的 Web 控制 台 ， 可 以 使 用 内 置 的 Gremlin 控制 台 。 注 意 ，Gremlin 中 的 图 对 象 已 经 
变 了 ， 其 中 包含 一 个 HighlyAvailableGraphDatabase。 
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9 = neo4jgraph[HighlyAvailableGraphDatabase [/.../neo4j-ent-1.7-2/data/graph.db]] 























为 测试 服务 器 , 我 们 打算 为 将 几 个 节点 加 入 到 新 图 里 , 其 中 包含 儿 个 著名 悖 论 的 名 字 。 
在 某 个 从 服务 器 的 控制 台中 ， 把 根 节 点 设置 为 芝 诺 悖 论 (Zeno’s paradox)。 





二 









































gremlin> root = g.v(0) 
gremlin> root.paradox = "Zeno's" 


gremlin> root.save 





然后 ， 转 向 主 服 务 器 的 控制 台 ， 输 出 顶点 paradox 值 。 














gremlin> g.V.paradox 


==> Zeno's 








这 时 ， 如 果 你 切换 到 其 他 从 服务 器 ， 增 加 罗素 导论 (Russell's paradox )， 然 后 查看 
paradox， 会 看 到 在 这 第 二 个 从 服务 器 上 显示 了 两 个 节点 。 而 事实 上 ， 只 在 这 个 服务 器 ! 
直接 添加 过 一 个 节点 。 



































~ 








gremlin> g.addVertex(["paradox" : "Russell's"]) 
gremlin> g.V.paradox 
==> Zeno's 


==> Russell's 








如 果 数 据 的 变化 没有 传达 某 个 从 服务 器 ， 你 可 以 回 到 Server Info、High Availability 页 
面 。 查 看 lastCcommittedTransactionId 中 的 所 有 实例 。 如 果 其 中 的 数值 是 相等 的 ， 
则 表明 系统 数据 保持 一 致 性 。 数 值 越 小 ， 该 服务 器 上 的 数据 版 本 越 老 。 

6. 主 服务 器 选择 


一 旦 关闭 主 服 务 器 ， 并 在 剩 下 的 某 个 服务 器 上 刷新 服务 器 信息 ， 你 会 看 到 另 一 个 服务 
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器 被 选 为 新 的 主 服 务 器 。 再 次 局 动 之 前 关闭 的 主 服 务 器 ， 会 将 该 服务 器 重新 加 入 集群 ， 具 























是 不 再 作为 主 服 务 器 (直到 目前 的 主 服务 器 关闭 )。 























HA 使 得 读 操作 负载 很 重 
负载 。 尽 管 旨 














读 到 过 期 数据 的 几率 ， 例 如 ， 











的 系统 能 够 在 多 个 服务 器 之 间 处 理 图 副本 ， 从 而 分 推 了 


























集群 作为 一 个 整体 只 会 在 最 终 达到 数据 一 致 性 ， 但 是 有 些 诀 穿 有 助 于 减少 














给 服务 器 分 配 会 话 (session)。 有 了 好 的 工具 、 规 划 以 及 


























设置 ， 可 以 构建 足够 大 的 图 数据 库 ， 处 理 十 亿 数 量 级 的 顶点 与 边 ， 以 及 几乎 任意 数 



































秘诀 。 


7.4.4 备份 





量 的 请 求 。 在 此 基础 上 ， 只 需 增加 定期 的 备份 ， 你 就 得 到 了 建立 一 个 可 靠 生产 系统 的 











备份 是 任何 专业 数据 库 应 








] 不 可 缺少 的 方面 。 虽 然 ， 在 使 用 副本 的 同时 ， 亦 有 效 引 入 

















了 备份 ， 但 是 夜间 运行 的 场 外 
































(Coffsite) 备份 永远 是 数据 灾难 恢复 的 良药 。 要 知道 ， 为 机 


房 火灾 或 者 将 整 栋 大 楼 震 为 废墟 的 地 震 准 备 预 案 ， 是 极其 困难 的 。 





Neo4j 企业 版 提供 了 名 为 neo4j-backup 的 简单 备份 工具 。 




















对 于 HA 服务 器 ， 最 强大 的 备份 方法 呐 过 于 编写 一 个 全 备份 的 命令 ， 将 数据 库 文 件 从 








集群 复制 到 挂 载 的 磁盘 ， 成 为 
























































个 带 有 日 期 蕉 的 文件 。 将 副本 指向 集群 中 的 每 个 服务 器 ， 
































可 以 保证 你 获取 最 新 的 可 用 数据 。 创 建 的 备份 目录 实则 是 一 个 完全 可 用 的 副本 。 如 果 你 需 
要 恢复 数据 ， 只 需 用 备份 目录 蔡 换 每 个 服务 器 的 数据 目录 ， 就 这 么 简单 。 
























































用 *nix 操作 系统 的 date 命令 )。 

















第 一 次 你 必须 做 一 个 完整 的 备份 .这 里 把 HA 集群 备份 到 以 今天 的 日 期 结尾 的 目录 (使 























bin/neo4j-backup -full -from ha://localhost:2181,1localhost:2182,1ocalhost:2183 \ 


-to /mnt/backups/neo4j-‘date +%Y.%m.%d. .db 














如 果 你 没有 运行 于 HA 模式 ， 只 要 把 URI 中 的 模式 改 为 single。 一 旦 做 好 全 备份 ， 就 
可 以 选择 进行 增 量 备份 ， 仅 存储 上 次 备份 以 来 变化 的 部 分 。 如 果 我 们 想 在 半夜 对 单个 服务 
器 进行 全 备份 ， 之 后 每 两 小 时 抓 取 增 量 备份 ， 可 以 执行 如 下 命令 ; 





























bin/neo4j-backup -incremental -from single://localhost \ 
-to /mnt/backups/neo4j-‘date +%Y.%m.%d. .db 








但 是 ， 务 必 牢 记 ， 增 量 备份 只 有 在 全 备份 目录 基础 之 上 才 起 作用 ， 所 以 确保 之 前 的 全 


备份 命令 在 同一 天 运行 过 。 
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7.4.5 第 3 天 总 结 




















今天 我 们 讨论 了 保持 Neo4j 数据 稳定 的 一 些 方法 ， 包 括 遵 循 ACID 的 事务 处 理 、 高 可 
用 性 以 及 备份 工具 。 


必须 注意 到 的 是 ， 我 们 今天 使 用 的 全 部 工具 都 需要 Neo4j 的 企业 版 ， 并 且 使 用 了 
两 个 授权 一 一 GPL 与 AGPL。 如 果 和 希望 你 的 服务 器 是 财源 的 ， 就 得 研究 转向 社区 版 ， 
或 者 从 Neo Technology (Neo4j 所 属 的 公司 ) 获取 OEM。 联 系 Neo4j 团队 以 得 到 更 多 
信息 


第 3 天 作业 
查找 
1. 找到 Neo4j 的 授权 说 明 


2， 回答 问题 , “支持 的 最 大 节点 数 是 多 少 ? ”( 提 示 : 这 在 网 站 文档 的 Questions & 
Answers 中 。) 


完成 
1. 在 三 个 物理 服务 器 上 的 Neo4j 实例 之 间 ， 相 互 复制 。 


2. 用 Apache 或 者 Nginx 之 类 的 Web 服务 器 建立 负载 均衡 器 ， 并 用 REST 接口 连接 到 
集群 。 执 行 Gremlin 脚本 命令 。 
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性 ED 





























Neo4j 是 图 数据 库 分 类 (相对 较 少 的 类 别 ) 中 最 好 的 开源 实现 。 图 数据 库 关 注 数 
据 之 间 的 关系 ， 而 不 是 值 之 间 的 共同 特征 。 对 图 数据 建 模 很 简单 。 你 只 要 创建 节点 
和 它们 之 间 的 关系 ， 并 可 选 地 挂 上 键 - 值 对 。 查 询 很 简单 ， 只 要 声明 如 何 从 开始 节点 
遍历 图 。 













































































7.5.1 Neo4j 的 优点 














Neo4j 开源 图 形 数据 库 最 好 的 例子 之 一 。 图 形 数据 库 对 于 非 结构 化 数据 是 完美 的 ， 在 
某 些 方面 甚至 好 过 基于 文档 数据 存储 《面向 文档 的 数据 库 )。Neo4j 不 但 没有 类 型 与 模式 的 
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概念 ， 而 且 它 对 于 数据 关联 的 方式 没有 限制 。 从 最 好 的 意义 上 来 说 ，Neo4j 是 完全 的 。 
目前 ，Neo4j 支持 344 亿 个 节点 以 及 344 亿 个 关系 ， 足 够 应 对 任何 领域 的 应 用 (Facebook 
有 8 亿 用 户 ，Neo4j 能 够 在 单个 图 中 为 其 每 个 用 户 持 有 42 个 节点 )。 


分 布 式 Neo4j 提供 了 若干 种 工具 ， 可 以 整合 Lucene 进行 快速 查找 ， 也 可 以 用 像 
Gremlin 以 及 REST 接口 这 样 易 用 (相对 于 一 些 星 涩 的 ) 的 语言 扩展 。 除了 易 用 性 , Neo4j 
也 很 快速 。 不 像 关 系数 据 库 中 的 正 交 操作 或 者 其 他 数据 库 中 的 map-reduce〈 映 射 -规约 ) 
操作 ， 图 人 遍历 是 常量 时 间 复 杂 度 的 。 在 Neo4j 中 ， 数 据 仅仅 是 一 步 之 区 的 节点 ， 而 对 于 
我 们 操作 过 的 其 他 数据 库 , 往往 需要 做 正 交 操作 ， 然 后 过 滤 期 望 的 结果 。 不 用 在 意图 变 
得 多 大 ; 从 节点 A 到 节点 B 永远 上 只 需要 一 步 ， 只 要 它们 是 相互 关联 的 〈 即 存在 
telationship )。 最 后 ， 企 业 版 通过 Neo4j 的 HA 功能 ， 提 供 了 高 可 用 性 以 及 应 对 密集 读 
操作 的 能 

































































































































































































































































7.5.2 ”Neo4j 的 缺点 























Neo4j 确实 有 一 些 缺 点 。Neo4j 中 的 边 无 法 从 一 个 顶点 回 指 其 本 身 。 我 们 也 发 现 它 
所 选择 的 术语 增加 了 交流 时 的 复杂 性 (节点 而 不 是 顶点 ， 关 系 而 不 是 边 )。 尽 管 HA 在 
创建 副本 时 表现 出 色 ， 但 是 它 只 能 将 完整 的 图 复制 到 其 他 服务 器 。 目 前 来 说 ，Neo4j 不 
能 划分 子 图 ， 这 还 是 会 限制 图 的 大 小 〈 不 过 ， 公 平地 说 ， 目 前 的 限制 也 是 以 百 亿 计 的 )。 
最 后 ， 如 果 你 在 找 商业 友好 的 开源 授权 (比如 MIT)，Neo4j 可 能 不 适合 你 。 而 社区 版 
《我 们 在 前 两 天 用 的 版 本 ) 是 GPL 的 ， 如 果 你 想 在 实际 生产 环境 中 使 用 企业 版 工具 ( 包 
天 HA 和 备份 )， 你 可 能 不 得 不 购买 授权 了 。 
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7.5.3 Neo4j 之 于 CAP 





如 果 你 选择 分 布 式 系统 ， 那 么 名 为 “高 可 用 性 ”的 集群 无 疑 会 透露 其 策略 。Neo4j 
的 HA 是 关于 可 用 性 与 分 区 容忍 性 (AP) 的 。 每 个 从 节点 只 会 返回 它 目前 所 包含 的 数据 ， 
而 这 些 数 据 可 能 暂时 与 主 节点 失去 同步 。 尽 管 ， 通 过 增加 从 节点 的 同步 频率 ， 你 只 能 减 
小 更 新 的 延迟 ， 但 是 从 技术 上 说 ， 最 终 还 是 会 达到 数据 的 一 致 。 这 也 是 Neo4 的 HA 适 
j 于 侦 重 读 操 作 需 求 的 原因 。 
























































7.5.4 ”结束 语 

















如 果 你 还 未 习惯 图 数据 的 建 模 ， 那 么 Neo4j 的 简单 反而 让 人 书 恼 。Neo4j 提供 了 
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强大 的 开源 API 并 经 过 多 年 生产 应 用 的 检验 , 但 是 用 户 数 依然 较 少 。 由 于 图 形 数 据 库 
与 人 类 概念 化 数据 的 方式 有 着 自然 的 联系 ， 因 此 我 们 把 目前 的 状况 归咎 于 人 们 还 缺少 
相应 的 知识 。 我 们 会 把 家 庭 想象 成 树 ， 把 我 们 的 朋友 们 想象 为 网 ， 可 我 们 大 多 数 人 不 
会 把 个 人 关系 想象 成 自 引用 的 数据 类 型 。 对 某 类 问题 ， 如 社交 网 络 ，Neo4j 是 显 而 易 
见 的 选择 。 此 外 ， 你 也 应 认真 思考 不 那么 明显 的 问题 一 一 或 许 ， 你 会 惊喜 于 其 强大 与 
易 用 之 处 。 
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Redis 就 像 润滑 油 。 润 滑 油 通 常用 于 润滑 系统 的 各 个 运转 部 件 ， 通 过 减少 摩擦 ， 保 持 
它们 运行 顺畅 ， 并 加 快 其 整体 功 外 E 
修 ， 只 要 明智 地 使 用 Redis， 就 能 


























Redis (REmote DIctionary Service， 远 程 字典 服务 ) 最 早 发 布 于 2009 年 ， 是 一 个 简 身 


























EE。 不 论 哪 种 系统 构造 ， 加 点 润滑 油 很 可 能 有 改善 。 有 时 
搞定 你 的 问题 。 






























































套 成 熟 的 命令 。 若 论 速度 ， 很 多 数据 库 难 出 其 右 。 它 读 取 速 














易 用 的 键 值 对 存储 库 ， 带 有 









































度 快 ， 写 入 速度 更 快 ， 根 据 某 些 基准 测试 ， 每 秒 可 处 理 高 达 10 万 次 SET 操作 。Redis 的 创 















































始 人 是 陕 尔 瓦 托 。 勒 圣 菲 利 波 〈Salvatore Sanfilippo)， 他 把 该 项 目 称 为 “数据 结构 服务 器 ”， 
以 反映 其 对 复杂 数据 类 型 及 其 他 功能 的 细致 处 理 。 这 不 只 是 一 个 超 快 的 键 值 对 存储 系统 ， 
学 习 它 ， 将 使 我 们 对 现代 数据 库 的 了 解 更 加 完整 。 


8.1 数据 结构 服务 如 存储 库 




























































































将 Redis 精确 归 类 可 能 有 
日 这 种 简单 的 说 法 并 不 全 面 。 
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点 困难 。 当 然 ， 从 基本 层面 上 说 ， 它 是 一 个 键 - 值 对 存储 库 。 
虽然 Redis 没有 达到 文档 型 数据 库 的 程度 ， 但 它 支 持 高 级 的 



























































数据 结构 。 它 支持 基于 集合 的 查询 操作 ,但 不 支持 关系 数据 库 中 同样 的 粒度 或 类 型 。 当 然 ， 











它 很 快 ， 为 了 速度 而 在 持久 怕 











FE 方 面 作出 了 让 步 。 








Redis 是 高 级 数据 结构 服 

















务 器 ， 此 外 ， 它 也 是 阻塞 队列 (或 栈 ) 和 发 布 -订阅 系统 。 它 





支持 可 配置 的 到 期 策略 、 持 久 性 级 别 ， 以 及 复制 选项 。 所 有 这 些 使 得 Redis 不 仅 是 某 类 数 


















































据 库 中 的 一 员 ， 更 是 有 用 的 数据 结构 算法 和 程序 的 工具 包 。 





















































Redis 有 丰富 的 客户 端 库 ， 在 许多 编程 语言 中 可 以 很 方便 地 使 用 它 。 它 不 仅 易 用 ， 还 














是 一 种 乐趣 .如果 说 API 是 程 








序 员 的 用 户 体验 , 那么 在 现代 艺术 博物 馆 中 Redis 应 该 和 Mac 





Cube 放 在 一 起 。 


在 第 1 天 和 第 2 天 ， 我 们 } 








CRUD 操作 开始 ， 





简单 的 消息 队列 ， 

















集合 和 有 序 集合 。 


项 ， 学 习 如 何在 数据 持久 性 
数据 库 常 常 彼 此 配合 使 用 ， 这 种 趋势 在 增 力 


我 们 会 很 快 转向 更 高 级 的 操作 ， 涉 及 更 强大 的 数据 结构 : 列表 、 哈 希 表 、 











我 们 将 创建 事务 ， 并 操作 数据 有 效 期 的 特征 。 我 们 会 用 Redis 创建 一 个 
其 发 布 -订阅 功能 。 然 后 ， 我 们 将 深入 探讨 Redis 的 配置 和 复制 选 
E 和 速度 之 间 ， 取 得 适合 应 用 程序 的 平衡 。 





并 探讨 
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各 探讨 Redis 的 功能 、 约 定 和 配置 。 












































与 往常 一 样 ， 从 简单 的 























1。 把 Redis 安排 在 本 书 的 最 后 介绍 ， 这 样 








我 们 就 可 以 用 这 种 方式 使 用 它 。 在 第 3 天 ， 我 们 将 构建 我 们 的 终极 系统 ， 一 个 功能 丰富 的 











区 





多 数据 库 的 音乐 解决 方案 ， 包 括 Redis、CouchDB、Neo4j 和 Postgres， 用 Node.js 将 它们 结 


合 在 一 起 。 





8.2 第 1 天 : CRUD 与 数据 类 型 








对 Redis 的 














受 世 界 各 地 用 户 

















令 共 用 124 条 。 最 了 


























外 ， 如 何 通 过 更 多 的 方式 查询 。 





8.2.1 入 门 指南 


















































发 团队 来 说 ,命令 行 界面 (Comnand-Line Interface，CLI) 最 重要 (也 深 
的 喜爱 )， 所 以 我 们 将 在 第 1 天 讨论 Redis 的 许多 命令 ，Redis 中 可 用 的 命 
要 的 是 理解 它 复 杂 的 数据 类 型 ， 以 及 除了 简单 的 “检索 此 键 的 值 ” 之 












































Redis 可 以 通过 一 些 包 管理 工具 来 安装 ， 如 Mac 的 Homebrew， 但 是 编译 生成 也 不 难 。! 
我 们 将 使 用 2.4 版 。 安 装 之 后 ， 可 以 通过 调用 下 面 的 命令 启动 服务 器 : 


























$ redis-server 









































在 默认 情况 下 ， 它 不 会 在 后 台 运 行 ， 但 是 可 以 在 命令 后 加 上 &&%， 实 现 后 台 运 行 ， 或 者 





也 可 以 打开 另 一 个 终端 。 





接 后 ， 尝 试 来 ping 服务 器 。 











接 下 来 运行 命令 行 工 具 ， 它 应 该 目 动 连接 3 





下 默认 的 6379 端口 。 连 





$ redis-cli 
redis 127.0. 
PONG 


Qi: 6379> PLING 








如 果 无 法 连接 ， 你 就 会 收 到 一 条 错 





! http://redis.io 


误 消息 。 输 入 help 命令 将 


显 





示 帮 助 选项 列表 。 输 入 
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help 后 面 跟 一 个 空格 ， 然 后 输入 任何 命令 ， 会 给 出 该 命令 的 帮助 。 如 果 你 不 知道 任何 一 条 
Redis 命令 ， 按 Tab 键 会 循环 列 出 所 有 的 选项 。 





























redis 127.0.0.1:6379> help 

Type: "help @<group>" to get a list of commands in <group> 
"help <command>" for help on <command> 
"help <tab>" to get a list of possible help topics 
"quit™ to exit 








今天 ， 我 们 要 用 Redis 构建 一 个 短 URL 服务 的 后 端 ， 类 似 于 tinyurl.com 或 bitly。 短 
URL 服务 将 很 长 的 URL 映射 到 自己 域名 中 的 短 URL， 例 如 ， 将 
http://www.myveryververylongdomain. com/somelongpath.php 映射 到 
http://bit.ly/VLD。 当 用 户 访 问 这 个 短 URL 时 ， 会 重 定 向 到 映射 前 的 长 URL， 这 样 
用 户 就 不 需要 发 送 长 字符 串 , 同时 也 为 短 URL 的 创造 者 提供 了 一 些 统 计数 据 , 例如 , 访问 
次 数 。 

在 Redis 中 ， 可 以 使 用 SET 命令 ,将 短 码 7wks 作为 键 ， 将 http://www. 


sevenweeks .org 作为 值 。SET 总 是 需要 两 个 参数 ， 一 个 键 和 一 个 值 。 检 索 值 ， 只 需要 
GET 命令 和 键 名 。 










































































redis 127.0.0.1:6379> SET 7wks http://www.sevenweeks.org/ 
OK 

redis 127.0.0.1:6379> GET 7wKS 
"http://www.sevenweeks.org/" 














为 了 减少 通信 开销 ， 也 可 以 使 用 MSET 设置 多 个 值 ， 比 如 ， 任 何 数量 的 键 - 值 对 。 这 
里 将 Google.com 映射 到 gog，Yahoo.com 映射 到 yan。 























redis 127.0.0.1:6379> MSET gog http://www.google.com yah http://www.yahoo.com 
OK 





























相应 地 ，MGET 使 用 多 个 键 ， 返 回 值 是 一 个 有 序列 表 。 














redis 127.0.0.1:6379> MGET gog yah 
1) "http://www.google.com/" 
2) "http://www.yahoo.com/" 

















虽然 Redis 存储 字符 串 ， 但 它 也 能 识别 整数 ， 并 提供 一 些 简 单 的 整数 操作 。 如 果 
我 们 想 记 录 数 据 集中 短 键 不 断 增长 的 总 数 , 可 以 创建 一 个 count 变量 ,随后 使 用 INCR 


命令 递增 它 。 















































Edis J]2 00 .L563.79> SEIT "VCOurnt.’2 
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OK 

redis 127.0.0.1:6379> INCR count 
(integer) 3 

redis 127.0.0.1:6379> GET count 
Wt 








虽然 GET 以 字符 串 的 形式 返回 count， 但 INCR 将 它 识别 为 一 个 整数 ， 并 对 其 加 一 。 
如 果 试 图 对 任何 非 整数 递增 ， 结 果 就 不 妙 了 。 

















redis 127.0.0.1:6379> SET bad count "an" 
OK 
redis 127.0.0.1:6379> INCR bad count 


(error) ERR value is not an integer or out of range 














如 果 该 值 不 能 解析 为 整数 ，Redis 将 正确 地 指出 问题 。 还 可 以 用 任意 整数 来 递增 
CINCRBY)， 也 可 以 递减 (DECR，DECRBY )。 
































8.2.2 事务 


我 们 已 经 在 前 面 的 数据 库 (Postgres 和 Neo4j) 中 看 到 过 事务 ，Redis 的 MULTI 块 原子 
命令 是 类 似 的 概念 。 如 果 将 两 个 操作 放 在 一 个 块 内 ， 例 如 SET 和 INCR， 那 么 这 两 个 操作 
么 都 成 功 执行 ， 要 么 都 不 执行 。 永 远 不 会 得 到 部 分 执行 的 结果 。 























我 们 将 在 一 个 事务 内 ， 以 另 一 个 短 码 作为 一 个 URL 的 键 , 并 递增 计数 。 我 们 用 MULTI 
命令 开始 事务 ， 并 用 EXEC 命令 执行 它 。 





























redis 127.0.0.1:6379> MULTI 

OK 

redis 127.0.0.1:6379> SET prag http://pragprog.com 
QUEUED 

redis 127.0.0.1:6379> INCR count 

QUEUED 

redis 127.0.0.1:6379> EXEC 

1) OK 

2) (integer) 2 











在 使 用 MULTI 命令 时 ， 命 令 在 定义 时 实际 上 并 不 执行 (类 似 于 Postgres 的 事务 )， 而 
是 排 入 队列 ， 然 后 按 顺 序 执行 。 




















类 似 于 SQL 中 的 ROLLBACK， 可 以 用 DISCARD 命令 停止 事务 ， 这 将 清除 事务 队列 。 
不 同 于 ROLLBACK， 它 不 会 恢复 数据 库 ， 它 只 是 根本 不 运行 事务 。 尽 管 底层 的 概念 是 不 同 
的 机 制 〈 事 务 回 滚 与 操作 取消 )， 但 效果 是 相同 的 。 
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8.2.3 ”复杂 数据 类 型 











到 目前 为 止 ， 我 们 还 没有 看 到 太 多 复杂 的 行为 。 用 键 存储 字符 串 和 整数 值 ( 甚 至 是 事 
务 )， 都 很 好 且 没 有 问题 ， 但 大 多 数 编程 和 数据 存储 的 问题 需要 处 理 许多 数据 类 型 。Redis 
能 存储 列表 、 哈 希 表 、 集 合 和 有 序 集 合 ， 这 自然 解释 了 它 的 受 欢 迎 程度 。 在 探讨 了 那些 可 
以 定制 的 复杂 操作 之 后 ， 你 就 会 同意 这 种 说 法 。 


采用 这 些 集合 数据 类 型 , 每 个 键 可 以 包含 大 量 的 值 (最 多 2^32 个 元 素 , 即 超过 40 亿 )。 
所 有 的 Facebook 账户 作为 一 个 列表 ， 放 在 一 个 键 下 也 毫 无 问题 。 


虽然 有 些 Redis 命令 可 能 看 起 来 有 点 神秘 ， 但 它们 一 般 遵 循 一 个 好 的 模式 。SET 命令 
以 s 开始 ， 哈 希 表 是 是， 而 有 序 集合 是 2。 列表 命令 一 般 以 工 ( 左 ) 或 R ( 右 ) 开始 ， 这 取 
决 于 操作 的 方向 (如 LPUSH)。 


1. 哈 希 表 
哈 希 表 类 似 于 髓 套 的 Redis 对 象 ， 可 以 存储 任意 数量 的 键 - 值 对 。 我 们 使 用 一 个 哈 希 表 
来 记录 用 户 ， 他 们 注册 了 我 们 的 短 URL 服务 。 


哈 希 表 很 好 用 ， 因 为 它 有 助 于 避免 使 用 不 自然 的 键 前 级 来 存储 数据 。( 请 注意 ,在 键 中 
用 冒号 [:]。 这 是 一 个 有 效 的 字符 ， 通 常 在 逻辑 上 将 键 分 隔 成 几 段 。 这 仅仅 是 一 个 惯例 ， 


Redis 中 没有 更 深 的 含义 。) 






























































































































































































































































redis 127.0.0.1:6379> MSET user:eric:name "Eric Redmond" user:eric:password s3cret 
OK 

redis 127.0.0.1:6379> MGET user:eric:name user:eric:password 

1) "Eric Redmond"™ 

2) "s3cret" 














不 使 用 分 离 的 键 ， 可 以 创建 一 个 哈 希 表 ， 包 含 它 自己 的 键 - 值 对 。 























redis 127.0.0.1:6379> HMSET user:eric name "Eric Redmond" password s3cret 
OK 

















只 需要 记录 单个 Redis 键 ， 就 能 获取 哈 希 表 的 所 有 值 。 














redis 127.0.0.1:6379> HVALS user:eric 
1) "Eric Redmond"™ 
2) "s3cret" 











也 可 以 获取 所 有 哈 希 键 。 
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redis 127.0.0.1:6379> HKEYS user:eric 
1) "name" 
2) "password" 





























或 者 ， 可 以 通过 传递 Redis 键 ， 后 面 跟 哈 希 键 ， 得 到 单个 值 。 这 里 只 得 到 了 密码 。 
































redis 127.0.0.1:6379> HGET user:eric password 
"s3cret™ 











不 同 于 文档 型 数据 存储 MongoDB 和 CouchDB，Redis 的 哈 希 表 不 能 杠 套 (任何 其 他 
的 复杂 数据 类 型 也 不 行 ， 如 列表 )。 换 言 之 ， 哈 希 表 只 能 存储 字符 串 值 。 

还 有 更 多 的 命令 ， 用 于 删除 哈 希 字段 (HDEL)， 以 某 个 计数 值 来 递增 一 个 整数 字段 的 
值 CHINCRBY)， 或 获取 一 个 哈 希 表 中 的 字段 数 CHLEN )。 

2.， 列表 
列表 包含 多 个 有 序 值 ， 既 可 以 作为 队列 《先进 先 出 )， 也 可 以 作为 栈 〈 后 进 先 出 )。 
们 还 有 更 复杂 的 操作 ， 在 列表 中 的 某 处 插入 ， 限 制 列表 的 大 小 ， 以 及 在 列表 之 间 移 动 值 。 
由 于 短 URL 服务 现在 可 以 记录 用 户 , 因此 我 们 希望 让 它们 保存 一 个 愿望 列表 , 记录 想 
访问 的 URL。 为 了 创建 想 访 问 网 站 的 短 码 列表 ， 设 置 键 为 USERNAME :wishlist， 并 将 
任意 数量 的 值 压 入 列表 的 右边 (末尾 )。 





















































































































































































































































redis 127.0.0.1:6379> RPUSH eric:wishlist 7wks gog prag 
(integer) 3 





























>， 将 三 个 值 压 入 











llr 


类 似 于 大 多 数 集 合 值 的 插入 ，Redis 命令 返回 推 入 值 的 数量 。 换 
表 ， 所 以 它 返 回 3。 随 时 可 以 用 LLEN 命令 来 获取 列表 的 长 度 。 

利用 列表 范围 命令 LRANGE， 可 以 指定 第 一 个 和 最 后 一 个 位 置 ， 取得 列表 的 任何 部 分 。 
Redis 中 所 有 列表 操作 使 用 从 零 开始 的 索引 。 负 的 位 置 是 指 从 末尾 算 起 的 步 数 。 


























有 


= 





































































































redis 127.0.0.1:6379> LRANGE eric:wishlist 0 - 


1) "7wks" 
2) "gog" 
3) "prag" 





LREM 命令 从 给 定 的 键 中 删除 一 些 匹配 的 值 。 它 也 需要 一 个 数目 ， 以 知道 要 删除 多 少 
个 匹配 的 值 。 这 里 设 定 计数 为 0， 即 删除 所 有 匹配 的 值 : 












































redis 127.0.0.1:6379> LREM eric:wishlist 0 gog 
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设 定 计数 大 于 0， 将 只 删除 这 个 数目 的 匹配 值 。 计 数 设 定 为 负数 ， 将 删除 该 数目 的 匹 
配 值 ， 但 从 列表 的 末尾 【 右 侧 ) 扫 


如 果 想 按 添加 的 顺序 来 删除 并 获取 每 个 值 〈 像 队列 一 样 )， 就 可 以 从 列表 左 侧 〈 头 部 ) 
弹出 它们 。 



















































































redis 127.0.0.1:6379> LPOP eric:wishlist 
"Twks™ 














如 果 想 表现 得 像 栈 一 样 ， 在 RPUSH 值 后 ， 要 从 列表 尾部 RPOP。 所 有 这 些 操作 都 在 常 
数 时 间 内 完成 。 
关于 前 面 的 命令 组 合 ， 也 可 以 使 用 LPUSH 和 RPOP 命令 实现 类 似 的 效果 (队列 )， 或 
使 用 LEPEUSH 和 LPOP 命令 实现 栈 的 效果 。 

假设 我 们 想 从 愿望 列表 中 移 除 值 ， 放 入 另 一 个 已 访问 网 站 的 列表 中 。 为 了 原子 地 执行 
这 个 移动 操作 ， 可 以 将 弹出 和 压 入 操作 放 在 一 个 MULTI 块 内 。 在 Ruby 中 ， 这 些 步 又 看 起 
来 可 能 是 这 样 的 (这 里 不 能 使 用 CLI, 因为 你 必须 保存 弹出 的 值 , 所 以 我 们 使 用 redis-rb 


gem): 




















































































































redis.multi do 
site = redis.rpop('eric:wishlist') 
redis.lpush('eric:;visited', site) 
end 




















但 Redis 提供 了 一 条 命令 ， 从 一 个 列表 的 尾部 弹 
称 为 REPOPLPUSH ( 右 弹 出 ， 左 压 入 )。 











8 值 ， 并 压 入 另 一 个 列表 的 头 部 。 这 











此 























redis 127.0.0.1:6379> RPOPLPUSH eric:wishlist eric:visited 
"pragn 











如 果 你 查询 愿望 列表 的 范围 ,，prag 将 消失 ; 现在 它 在 visited 列表 中 。 这 是 一 个 有 
用 的 命令 排队 机 制 。 


如 果 你 查阅 Redis 文档 以 找到 RPOPRPUSH、LPOPLPUSH 和 LPOPRPUSH 命令 ， 你 
可 能 会 诅 丧 地 发 现 它们 不 存在 。RPOPLPUSH 是 你 唯一 的 选择 ， 你 必须 相应 地 构建 你 的 
列表 。 

3， 阻 塞 列 表 


既然 短 URL 服务 已 启动 ， 就 添加 一 些 社交 活动 ， 比 如 ,添加 一 个 实时 评论 系统 ， 让 人 
们 发 布 帖子 ， 评 论 他 们 已 经 访问 过 的 网 站 。 
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我 们 来 写 一 个 简单 的 消息 传输 系统 ， 其 中 多 个 客户 端 可 以 压 入 评论 ， 并 且 一 个 客户 端 
(整理 者 ) 从 队列 中 弹出 消息 。 我 们 希望 整理 者 仅仅 监听 新 的 评论 , 在 它们 到 达 时 弹出 它们 。 
Redis 为 这 种 目的 提供 了 一 些 阻塞 命令 。 
首先 ， 打 开 另 一 个 终端 ， 并 启动 另 一 个 redis-cli 客户 端 。 这 将 是 整理 者 。 阻 塞 直 
到 有 值 可 弹出 的 命令 是 BRPOP。 它 需要 指定 弹出 值 所 属 的 键 ， 以 及 超时 的 秒 数 ， 设 置 为 5 
分 钟 。 





























































































































redis 127.0.0.1:6379> BRPOP comments 300 








by 








然后 切换 


杞 


一 个 控制 台 ， 把 一 条 消息 压 入 评论 里 。 











如 





名 
bp 











redis 127.0.0.1:6379> LPUSH comments "Prag is great! I buy all my books there." 
































如 果 你 切换 回 整 理 者 控制 台 ， 将 看 到 两 行 返回 : 键 和 弹出 的 值 。 控 制 台 也 会 输出 它 花 
费 在 阻塞 上 的 时 间 。 


















































1) "comments" 
2) "Prag is great! I buy all my books there." 
(50 .22s) 





























还 有 一 个 左 弹 出 的 阻塞 版 本 (BLPOP )， 以 及 右 弹 出 、 左 推 入 的 阻塞 版 本 
BRPOPLPUSH)。 
































Pa 





4. 集合 
短 URL 服务 发 展 顺利 ， 如 果 能 用 某 种 方法 将 常用 的 URL 分 组 就 更 好 了 。 


集合 是 无 序 聚 合 ， 没 有 重复 的 值 ， 是 两 个 或 两 个 以 上 的 键 值 之 间 执 行 复杂 操作 的 很 好 
选择 ， 例 如 ， 并 集 或 交集 等 。 


如 果 我 们 想 用 一 个 共同 的 键 将 多 组 URL 归 类 ， 可 以 使 用 SADD 命令 添加 多 个 值 。 







































































redis 127.0.0.1:6379> SADD news nytimes.com pragprog.com 
(integer) 2 














Redis 添加 了 两 个 值 。 可 以 通过 SMEMBERS 命令 获取 整个 集合 ， 顺 序 是 不 确定 的 。 















































redis 127.0.0.1:6379> SMEMBERS news 
1) "pragprog.com"™ 


2) "nytimes.com" 
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我 们 为 技术 相关 网 站 添加 另 一 个 类 别 ， 称 为 Lech。 





redis 127.0.0.1:6379> SADD tech pragprog.com apple.com 
(integer) 2 




















为 找到 两 个 网 站 集合 的 交集 ， 也 就 是 既 提供 新 闻 又 聚焦 技术 ， 使 用 SINTER 


动 
仿 


























redis 127.0.0.1:6379> SINTER news tech 
1). "pragprog. Com” 





可 以 从 一 个 集合 中 删除 在 另 一 集合 中 出 现 的 所 有 值 ， 这 也 同样 容易 。 要 找到 所 有 非 技 
术 类 的 新 闻 网 站 ， 使 用 SDIFF 命令 : 









































redis 127.0.0.1:6379> SDIFF news tech 
1) "nytimes.com" 

















从 


un 


还 可 以 建立 一 个 网 站 并 集 ， 包 含 新 闻 网 站 或 技术 网 站 。 因 为 它 是 一 个 集合 ， 所 以 重 


元 素 将 丢弃 。 











复 








redis 127.0.0.1:6379> SUNION news tech 
1) “apple.com" 

2) "pragprog.com" 

3) "nytimes.com" 











这 个 并 集 也 可 以 直接 存储 到 一 个 新 的 集合 中 (SUNIONSTORE destination key 
Wd 

















redis 127.0.0.1:6379> SUNIONSTORE websites news tech 




















这 也 提供 了 一 个 有 用 的 技巧 ， 将 一 个 键 的 值 复制 到 另 一 个 键 中 ， 如 SUNIONSTORE 
news_copy news 。 还 有 类 似 的 命令 ， 用 于 存储 交集 (SINTERSTORE ) 和 差 集 
(SDIFFSTORE ) 。 


就 像 RPOPLPUSH 命令 将 值 从 一 个 列表 移 到 另 一 个 列表 ，SMOVE 命令 对 集合 完成 相 
同 的 任务 ， 但 它 更 容易 记 。 


就 像 LLEN 命令 查询 列表 的 长 度 ，SCARD (集合 基数 ) 对 集合 计数 ， 但 它 更 难 记 。 


因为 集合 是 无 序 的 ， 所 以 没有 左 、 右 或 其 他 位 置 命令 。 从 集合 弹出 一 个 随机 值 ， 只 需 
要 SPOP 键 ， 删 除 值 的 命令 是 SREM key value [value ...]。 


不 同 于 列表 ， 集 合 没 有 阻塞 命令 。 
















































































































































































5. 





集合 从 之 前 上 
它们 像 哈 


可 以 将 有 序 集合 


有 序 集合 
之 前 我 们 看 到 的 其 他 Redis 数据 类 型 ， 
的 每 个 数据 类 型 里 取 了 一 些 














希 表 一 样 有 字段 - 值 
想象 为 一 个 
的 顺序 ， 所 以 插入 的 时 间 复 杂 度 是 log (N) (其 





有 序 集合 





保持 值 














哈 希 表 或 列表 的 时 





间 复 杂 


对 ， 
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很 容易 映射 到 常见 的 编程 语言 结构 
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上 ， 而 有 序 











= 东西 。 


没有 字符 串 








它们 像 列 表 一 样 有 序 ， 








象 集合 一 样 元 素 唯一 。 














但 没 














度 是 常量 。 





Th: 











在 





希 绊 


有 序 集合 中 增加 

















个 人 








学 科 
随机 存 取 的 优先 级 队列 。 但 这 种 能 力也 有 代价 。 

















中 和 N 





让 ， 需 要 在 Redis 的 键 名 后 跟 两 个 值 : 





丰 


=} 











串 字 段 , 而 是 代 之 以 数字 , 表示 表示 值 的 顺序 。 
在 内 部 ， 因 
集合 的 大 小 ), 不 像 





为 


面 要 记录 特定 短 码 的 流行 度 。 每 次 有 人 访问 一 个 URL 时 ， 得 分 就 会 增加 。 类 似 于 哈 


得 分 和 成 员 。 





redis 127.0.0.1:6379> ZADD visits 500 7wks 9 gog 9999 prag 


(integer) 


3 





要 增加 一 个 得 分 ， 要 么 重新 添加 新 的 得 分 ， 这 只 是 更 新 得 分 ， 
么 按 某 个 数字 做 递增 ， 这 将 返回 新 的 值 。 









































但 没有 添加 一 个 新 值 ; 








redis. 127.0.0.1:6379> ZINGCRBY. visits. 1] prag 


"10000" 





也 可 以 在 ZINCRI 
范围 


6. 











BY 中 设 











化 





信人 





合 获 取 值 




















要 从 visits 
列表 数据 类 型 的 LRANGE 


要 获得 得 分 前 








ih 命令 。 


两 位 的 被 访问 网 站 〈 从 零 


和 发 置 负数 ， 


>» 可 以 发 出 一 





实现 递减 。 











但 





对 于 有 序 集合 ， 




















会: 人 
命令 





， ZRANGE, 


它 按 位 置 返回 








， 就 像 











位 置 按 得 分 从 最 低 到 最 高 排序 。 因 





始 )， 使 月 





目下 面 的 命令 


此 ， 








redis 127.0.0.1:6379> ZRANGE visits 0 1 


1) 
2) 


"gog" 
"Iwks" 





如 果 还 要 得 到 每 个 元 素 的 得 分 ， 就 在 前 面 的 命令 加 上 WITHSCORI 
FEVRANGE。 











PEV， 即 ZR 

















PS。 


要 


得 


到 反 序 的 元 





redis 127.0.0.1:6379> ZREVRANGE visits 0 -1 WITHSCORES 


素 ， 在 命令 中 插入 RE 
Se 
2) TT1O000T 
3) "7wks" 
4) "500" 
3) "gog" 
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6) "on 


























但 是 , 如 果 我 们 正在 使 用 一 个 有 序 集合 , 很 可 能 我 们 要 按 得 分 而 不 是 位 置 来 划 定 范围 。 
ZRANGEBYSCORE 的 语法 与 ZRANGE 稍 有 不 同 。 默 认 情况 下 低 和 高 的 范围 数字 是 包含 在 内 
的 ， 如 果 要 排除 一 个 得 分 数字 ， 可 以 在 它 前 面 加 上 左 圆 插 号 “(”。 因此， 下 面 的 命令 将 返 
回 所 有 的 分 数 ， 其 中 9 科 分 数 乏 9999: 






















































































redis 127.0.0.1:6379> ZRANGEBYSCORE visits 9 9999 
1) "gog" 
2) "7wks" 








但 是 以 下 命令 将 返回 9 分 数 三 9999: 

















redis 127.0.0.1:6379> ZRANGEBYSCORE visits (9 9999 
yk 














还 可 以 按 正 数 和 负数 值 划 定 范围 ， 包 括 无 穷 。 这 将 返回 整个 集合 。 





redis 127.0.0.1:6379> ZRANGEBYSCORE visits -inf inf 

















也 可 以 使 用 ZREVRANGEBYSCORE， 反 序列 出 它们 。 












































类 似 于 按 排 名 (索引 ) 或 得 分 取得 一 个 范围 内 的 值 ，ZREMRANGEBYRANK 和 
ZREMRANGEBYSCORE 分 别 按 照排 名 或 得 分 来 删除 值 。 






































7. 并 集 














就 像 集合 数据 类 型 一 样 ， 可 以 创建 一 个 目标 键 , 让 它 包 含 一 个 或 多 个 键 的 并 集 或 交集 。 
这 是 Redis 中 更 为 复杂 的 命令 之 一 ， 因 为 它 不 仅 必 须要 联合 键 ( 这 是 比较 简单 的 操作 )， 而 
且 要 合并 《可 能 ) 不 同 的 分 数 。 并 和 集 操作 看 起 来 像 下 面 这 样 : 



























































ZUNIONSTORE destination numkeys key [key ...] 
[WEIGHTS weight [weight ...]] [AGGREGATE SUM|MIN |MAX] 











destination 是 要 存 入 的 键 ，key 是 一 个 或 多 个 需要 做 并 集 的 键 numkeys 就 是 你 
即将 做 并 集 的 键 的 数目 ， 而 weight 是 可 选 的 数字 ， 用 来 乘 以 相应 键 的 每 一 个 得 分 (如 果 
有 两 个 键 ， 就 可 以 有 两 个 权重 ， 以 此 类 推 )。 最 后 ，aggregate 是 处 理 每 个 加 权 得 分 的 可 
选 规则 ， 默 认 是 总 和 ， 但 也 可 以 在 许多 得 分 之 间 选 择 最 小 值 或 最 大 值 。 


将 用 这 条 命令 来 衡量 一 个 短 码 的 有 序 集合 的 重要 性 





















































可 






















































































o 





首先 ， 将 创建 男 一 个 键 ， 记 录 各 个 短 码 的 投票 得 分 。 站 点 的 每 个 访问 者 都 可 以 投票 ， 
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表明 他 们 是 否 喜 欢 这 个 网 站 ， 每 张 票 增加 一 个 点 。 





redis 127.0.0.1:6379> ZADD votes 2 7wks 0 gog 9001 prag 
(integer) 3 















































我 们 想 结合 选票 和 访问 量 ， 找 出 我 们 系统 中 最 重要 的 网 站 。 选 票 很 重要 ,但 紧 随 其 后 ， 
网 站 访问 量 也 占 一 定 权 重 〈《 也 许 人 们 对 该 网 站 非常 着 迷 ， 但 起 了 投票 )。 我 们 想 要 添加 两 
种 类 型 的 分 数 ， 共 同 计算 出 一 个 新 的 重要 性 分 数 ， 其 中 选票 具有 双 倍 的 重要 性 ， 即 乘 以 


人 


































































































ZUNIONSTORE :importance 2 visits votes WEIGHTS 1 2 AGGREGRATE SUM 
(integer) 3 
redis 127.0.0.1:6379> ZRANGEBYSCORE importance -inf inf WITHSCORES 


1) "gog™ 
2 9 

3) "™7wks" 
4)"504" 
5)y "prag” 
6)"28002" 






































这 个 命令 的 其 他 用 法 也 很 强大 。 例 如 ， 如 果 需 要 对 集合 内 的 所 有 成 绩 加 倍 ， 就 可 以 用 
2 的 权重 对 单个 键 做 并 集 操 作 ， 并 把 结果 存储 回 它 本 身 。 





















































redis 127.0.0.1:6379> ZUNIONSTORE votes 1 votes WEIGHTS 2 
(integer) 2 
redis 127.0.0.1:6379> ZRANGE votes 0 -1 WITHSCORES 





1) "gog™ 
2 0 

3) "7wks™" 
aya 

5) "pragr 
6)"18002" 

















对 有 序 集合 也 有 一 个 类 似 的 命令 ， 用 于 执行 交集 操作 (ZINTERSTORE )。 


























8.2.4 到 期 


像 Redis 这 样 的 键 - 值 对 系统 有 一 种 常见 用 法 ， 就 是 作为 数据 的 快速 访问 缓存 ， 重 新 获 
取 或 计算 这 些 数据 代价 高 昂 。 到 期 功能 有 助 于 避免 总 的 键 集 无 限 增长 ， 做 法 是 安排 Redis 
经 过 一 定 的 时 间 就 删除 一 个 键 - 值 对 。 














山 | 
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标记 一 个 键 为 到 期 ， 需 要 EXPIRE 命令 ， 一 个 现 有 的 键 ， 以 及 以 秒 计算 的 存在 时 间 。 
下 面 设 置 一 个 键 ， 并 设置 它 在 10 秒 后 到 期 。 我 们 可 以 在 10 秒 内 检查 这 个 键 是 否 存 在 
(EXISTS) 并 返回 1〈 真 )。 如 果 等 待 执行 ， 它 最 终 将 返回 0〈 假 )。 


















































redis 127.0.0.1:6379> SET ice "IIm melting.." 
redis 127.0.0.1:6379> EXPIRE ice 10 
(integer) 

reédis. T2770.051:63793, EXISTS Ge 


(integer) 














redis. T273050 :563193 EXISTS. LGe 


i 


(integer) 






































设置 键 和 到 期 时 间 是 如 此 常用 的 操作 ， 于 是 Redis 提供 了 一 条 简捷 命令 ， 即 SETEX。 





redis 127.0.0.1:6379> SETEX ice 10 "I'm melting..." 

















可 以 用 TTL 查询 一 个 键 的 生存 时 间 。 像 前 面 那 样 设置 ice 到 期 检查 它 的 TTL 将 返 
回 剩余 的 秒 数 。 
































redis 127.0.0.1:6379> TTL ice 
(integer) 4 











在 键 到 期 之 前 的 任何 时 候 ， 都 可 以 通过 PERSIST key 消除 超时 。 








redis 127.0.0.1:6379> PERSIST ice 














要 标记 倒计时 到 特定 的 时 间 ， 可 以 用 EXPIREAT。 它 接受 一 个 Unix 时 间 戳 〈 自 1970 
年 1 月 1 日 起 的 秒 数 )， 而 不 是 计算 秒 数 。 换 言 之 ，EXPIREAT 是 绝对 超时 ，EXPIRE 用 于 
相对 超时 。 
有 一 个 常用 技巧 ， 只 保留 最 近 用 过 的 键 : 每 当 你 检索 一 个 值 时 ， 更 新 它 的 到 期 时 间 。 
这 是 最 近 使 用 (MRU，Most Recently Used) 绥 存 算法 ,确保 你 最 近 使 用 的 键 将 继续 保留 在 
Redis 中 ， 而 被 忽视 的 键 将 正常 到 期 。 





























































































































a 

















8.2.5 数据 库 命名 空间 

















到 目前 为 目 ， 我 们 只 与 单个 命名 空间 交互 。 就 像 Riak 中 的 桶 (bucket)， 有 时 需要 通 
过 命名 空间 将 键 分 隔 开 。 例 如 ， 如 果 你 写 了 一 个 国际 化 的 键 值 对 存储 库 ， 可 以 在 不 同 的 
命名 空间 中 存储 不 同 的 回应 内 容 。 键 greeting 可 以 在 德 文 的 命名 空间 里 设置 为 “guten 
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tag”， 在 法 文 的 命名 空间 里 设置 为 “bonjour”。 用 户 选 择 语 言 后 ， 应 用 程序 就 从 指定 的 命 
名 空间 中 获取 所 有 的 值 。 
在 Redis 的 术语 中 ， 命 名 空间 称 为 数据 库 (database )， 以 数字 为 键 。 到 目前 为 止 , 我 
们 一 直 与 默认 的 命名 空间 0 (也 称 为 数据 库 0) 交互 。 这 里 设置 greeting 为 英文 的 hello。 

















以 




























































































redis 127.0.0.1:6379> SET greeting hello 
OK 
redis 127.0.0.1:6379> GET greeting 
"hello™ 























但 是 ， 如 果 通 过 SELECT 命令 切换 到 男 一 个 数据 库 ， 该 键 就 不 可 用 了 。 


























redis 127.0.0.1:6379> SELECT 1 
OK 
redis 127.0.0.1:6379[1]> GET greeting 
(nil) 














在 这 个 数据 库 的 命名 空间 设置 一 个 值 ， 不 会 影响 原来 命名 空间 的 值 。 



































redis 127.0.0.1:6379[1]> SET greeting "guten tag" 





OK 

redis 127.0.0.1:6379[1]> SELECT 0 
OK 

redis 127.0.0.1:6379> GET greeting 
"hello"™ 














既然 所 有 的 数据 库 都 运行 在 同一 服务 器 实例 内 ,Redis 就 允许 用 MOVE 命令 ,在 不 同 合 
名 空间 之 间 移 动 键 。 下 面 将 greeting 移 到 数据 库 2: 





























redis 127.0.0.1:6379> MOVE greeting 2 
(integer) 2 

redis 127.0.0.1:6379> SELECT 2 

OK 
redis 127.0.0.1:6379[2]> GET greeting 
"Therlon 
































如 果 针 对 单个 Redis 服务 器 运行 不 同 的 应 用 程序 ， 又 要 允许 这 些 应 用 程序 相互 之 间 交 
换 数据 ， 这 个 功能 就 有 用 了 。 






































8.2.6 ”更 多 命令 




















Redis 有 大 量 的 其 他 操作 命令 ， 如 重 命名 键 (RENAME )， 确 定 键 值 的 类 型 (TYPE 





二 
Wot 
~ 


























268 第 8 章 Redis 








以 及 删除 键 值 对 (DEL )。 还 有 痛苦 危险 的 ELUSHDB， 它 从 这 个 Redis 数据 库 中 删除 所 有 的 
键 ， 以 及 灾难 性 的 命令 FLUSHALL， 它 从 所 有 Redis 数据 库 删除 所 有 的 键 。 请 查看 在 线 文 
档 ， 找 到 Redis 命令 的 完整 列表 。 

第 1 天 总 结 

Redis 拥有 多 种 数据 类 型 , 并 能 够 执行 复杂 的 查询 , 这 使 它 超越 了 标准 的 键 - 值 对 存储 库 。 
它 可 以 作为 一 个 栈 、 队 列 或 优先 队列 ， 可 以 作为 对 象 存储 系统 〈 通 过 哈 希 表 ); 甚至 可 以 执 
行 复 杂 的 集合 操作 ， 如 并 集 、 交 集 和 差 集 (diff)。 它 提供 了 许多 原子 命令 ， 同 时 对 于 那些 多 
步 命 令 ， 它 提供 了 一 种 事务 机 制 。 它 有 键 到 期 的 内 置 功 能 ， 在 作为 缓存 时 ， 这 是 有 用 的 。 






















































































































































































第 1 天 作业 

1. 查找 完整 的 Redis 命令 文档 ， 包 括 命令 详细 信息 中 以 大 O 标记 (0O(x)) 的 时 间 复 

实践 

1. 安装 你 喜欢 的 编程 语言 驱动 程序 ， 连 接 到 Redis 服务 器 。 在 一 个 事务 内 插入 并 递 
增值 。 























2. 使 用 你 选择 的 驱动 程序 ， 创 建 一 个 程序 ， 读 取 阻 塞 列 表 并 输出 至 
台 、 文 件 、Socket.io 等 )， 并 且 创 建 另 一 个 程序 写 入 相同 的 列表 。 


8.3 第 2 天 : 高 级 用 法 ， 分 布 


第 1 天 ， 我 们 介绍 了 作为 数据 结构 服务 器 的 Redis。 今 天 ， 我 们 将 在 此 基础 上 介绍 
Redis 提供 的 一 些 高 级 功能 ， 如 管道 、 发 布 -订阅 模型 、 系 统 配置 ， 以 及 复制 。 此 外 ， 我 
们 将 看 到 如 何 创建 一 个 Redis 集群 ,快速 存储 大 量 数据 ， 并 使 用 先进 技术 介绍 Bloom 过 
滤器 (Bloom filter)。 





人 


某 个 地 方 〈 控 制 





















































































































































8.3.1 一 个 简单 的 接口 





Redis 有 20 000 行 源 代 码 ， 是 一 个 相当 简单 的 项 目 。 但 是 ， 除 了 代码 规模， 它 还 有 
个 简单 的 接口 ， 接 受 我 们 写 在 控制 台 里 的 每 一 个 字符 串 。 使 用 Redis 的 原因 如 图 8-1 
所 示 。 

































































8.3 第 2 天 : 高 级 用 法 , 分 布 “269 


我 不 明白 REDIS 
是 怎么 回 事 
为 什么 不 用 带 
二 维 表 的 
RDBMS 呢 ? 








和 你 不 开 坦克 去 
上 班 是 一 个 道理 





QNOWda3a 21Y3 HOZO 





WoOoD'D2INOodana2 

















1. telnet 












































可 以 不 用 命令 行 界面 与 Redis 交互 ， 而 是 利用 telnet， 通 过 TCP 字符 流 输入 命令 ， 并 
以 回 车 换行 符 (CRLF， 或 \r\n) 终止 该 命令 。 

















redis/telnet.sh 

$ telnet localhost 6379 
TY Yin L200 La 
Connected to localhost. 
Escape character is '^]'. 
SET test hello 

D+OK 

GET test 

©®s$5 

hello 

SADD stest 1 99 

:2 

SMEMBERS stest 

@O*2 

$1 

1 

$2 

99 


CTRE=] 


























我 们 可 以 看 到 ， 输 入 和 我 们 在 控制 台 提 供 的 一 样 ， 但 控制 台 的 响应 更 整洁 一 点 。 
(QD Redis 流 在 OK 状态 前 加 了 一 个 + 号 。 
@ 在 它 返回 字符 串 hello 之 前 ， 向 它 发 送 $55， 这 意味 着 “以 下 字符 串 有 5 个 字符 。” 


@ 向 测试 键 添加 两 个 集合 元 素 之 后 ， 返 回 的 数字 2 前 面 有 “: ”代表 一 个 整数 (两 个 















































es 
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值 添加 成 功 )。 


@ 最 后 ， 当 我 们 请 求 两 个 元 素 时 ， 返 回 的 第 
回 。 接 下 来 的 两 行 如 同 hello 








有 两 个 复杂 的 值 将 返 











中 99。 





2 各 利 


草 Redis 














2 hr dD 


字符 上 


行 以 一 个 星 号 和 数字 2 3 
lh ， 但 包含 字符 串 1， 后 面 是 字符 








开始， 意味 着 





还 可 以 通过 使 用 BSD 的 netcat (nc) 命令 ， 你 可 能 会 发 现 许 多 UNIX 机 器 上 已 经 安装 


了 这 条 命令 ， 


一 行 (telnet 隐 伟 就 是 这 相 
器 一 些 时 间 返 回 。 





一 次 性 流入 我 们 自己 的 字符 串 。 使 用 
做 的 )。echo 命令 完成 后 ， 我 们 还 要 睡眠 
一 些 nc 实现 有 -qa 选项 ， 从 而 不 需要 用 























这 样 ， 所 以 请 自由 尝试 一 下 。 















































netcat， 我 们 必须 明 碳 
































角 地 以 CRLF 结束 
秒 种 ， 给 Redis 服务 





























E 眼 ， 但 不 是 所 有 的 nc 实现 都 是 





$ (echo -en "ECHO hello\r\n"; sleep 1) | nc localhost 6379 


$5 
hello 





可 以 将 命令 组 织 为 管道 的 形式 ， 从 而 利用 这 利 


入 多 条 命令 。 


























控制 方式 的 优势 ， 或 者 在 单个 请 求 中 流 





$ (echo -en "PING\r\nPING\r\nPING\r\n"; sleep 1) | nc localhost 6379 


+PONG 





这 可 能 比 每 次 推 入 一 条 命令 远 为 高 效 ， 如 果 有 1 
条 命令 以 \r\n 结束 ， 这 是 服务 器 要 求 的 定 界 符 。 

















事务 中 。 只 是 要 确保 每 


3. 发 布 -订阅 








阻塞 弹出 命令 读 取 。 不 
任何 数量 的 消息 ， 当 消 
有 限制 。 在 许多 情况 














公告 ， 


如 图 


























(或 pub-sub) 命令 。 











昨天 我 们 用 阻塞 列表 实现 了 评论 机 
订阅 者 发 布 一 条 评论 (而 不 是 只 有 
在 pub-sub 术语 中 称 为 通道 
将 导致 CLI 阻塞 。 








上 用 该 队列 ， 实 现 了 一 个 4 


让， 我 们 想 要 行为 了 















































Cchannel)。 我 们 


















































个 订阅 者 )。 我 们 





E 好 倒 过 来 ， 即 几 个 订阅 者 需要 读 取 单 
8-2 所 示 ， 发 布 者 向 所 有 订阅 者 发 送 消息 。Redis 提供 


二 全 /| 








上 昨天， 我 们 用 列表 数据 类 型 实现 了 一 个 基本 的 阻塞 队列 。 我 们 让 数据 排队 ， 并 能 够 被 
民 基 本 的 发 布 - 订 阅 模 型 。 可 以 向 该 队列 推 
县 可 以 读 取 时 ， 唯 一 的 队列 读者 会 弹出 它们 。 阻 塞 队列 很 强大 ， 但 








义 ， 就 应 该 考虑 这 样 做 一 一 尤其 是 在 





过 





















































到 








发 布 者 的 
了 一 些 专门 的 发 布 -订阅 


关 ， 接 下 来 我 们 做 一 点 改进 ， 允 许 一 个 用 户 向 多 个 





让 一 些 订阅 者 连接 到 一 个 键 ， 这 




















启动 两 个 新 的 客户 端 ， 订 阅 该 评论 通道 。 














订阅 


订阅 者 A 


图 8-2 一 个 发 布 者 向 所 有 订阅 者 发 送 一 条 消息 
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发 布 者 


订阅 者 B 




















redis 127.0.0.1:6379> SUBSCRIBE comments 


Reading messages... 


1) "subscribe" 


2) "comments" 


3) (integer) 1 


(press Ctrl-C to quit) 





会: 人 
1H 令 


互 | 








有 了 两 个 订阅 者 ,可 以 将 任何 字 














符 串 作为 一 条 消息 , 发布 到 comments 通道 .PUBLISH 














将 返回 整数 2， 意 思 是 两 个 订阅 者 接收 到 了 它 。 























redis 127.0.0.1:6379> PUBLISH comments 


(integer) 2 


"Check out this shortcoded site! 7wks" 





字符 





串 “message” 通 


两 个 订阅 者 都 将 收 到 





一 个 多 块 回复 (multibulk reply， 是 一 个 列表 )， 包 含 三 个 元 素 : 
道 的 名 字 和 发 布 的 消息 值 。 





1) "message" 


2) "comments" 
3) "Check out this shortcoded 


site! 7wks" 





如 果 你 的 客户 端 希望 不 再 接收 至 


从 comments 





N= = 
硼 壮 


8.3.2 ”服务 昌 


a 


ee 























sw 





的 内 
















































































尼 ， 使 用 了 


在 学 习 改变 Redis 的 系统 设置 之 前 ， 先 快速 看 看 INFO 命令 


Oa /二 
了 s 信 息 
































也 将 改变 这 里 的 某 些 值 。INFO 
存 和 运行 时 间 。 








bE comments 人 用 命令 ， 























nm 








命令 输出 服务 器 数据 列表 ， 包 括 


| 信件 ,它们 可 以 执行 UNSUBSCRIBE 
通道 断 开 ， 或 者 干脆 用 单独 的 UNSUBSCRIBE 命令 ， 从 所 有 通道 断 开 。 但 是 
redis-cli， 你 需要 按 CTRL+C 快捷 键 来 中 断 连接 。 

















是 有 价值 的 ， 因 为 更 改 设 





版 本 、 进 程 ID、 使 用 
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redis 127.0.0.1:6379> INFO 


redis version:2.4.5 
redis git shal:00000000 
redis git dirty:0 

arch bits:64 


multiplexing api:kqueue 


process id:54046 
uptime in seconds:4 
uptime in days:0 
了 





在 本 章 中 ， 你 可 能 需要 多 次 使 用 这 个 命令 ， 
。 它 甚至 还 提供 了 持久 改 














快照 和 设置 














8.3.3 Redis 配 置 








到 




















因 








目前 为 止 ， 我 们 只 是 直接 使 用 Redis。Redis 的 强大 之 处 主要 来 源 于 它 的 可 配置 性 





为 它 提供 了 这 个 服务 器 全 局 信息 的 有 用 
FE、 内存 碎片 和 复制 服务 器 状态 的 信息 。 











人 





要 











允许 你 根据 使 用 情况 量 身 定 制 。 发 布 版 所 带 的 redis.conf 文件 ， 位 于 *nix 系统 的 




















/etc/ 


我 们 将 依次 介绍 几 个 常用 设置 。 


redis 目录 下 ， 该 文件 基本 | 

















上 是 自 描 述 的 ， 所 以 我 们 只 讨论 它 的 一 部 分 。 





daemonize no 
port 6379 
loglevel verbose 
logfile stdout 
database 16 





默认 情况 
































一 人 pid 文件 R 


下 一 行 是 这 人 台 服 务 器 的 默认 端口 


但 对 生产 环境 不 是 很 友好 。 此 值 更 改 为 yes 将 在 





下 ， 把 aaemonize 设置 为 no， 因 此 服务 器 总 是 在 前 台 
台 运 行 服务 器 ， 同 时 将 服务 器 的 进程 ID 写 入 








oh 























号 ， 端 











启动 。 这 对 于 测试 很 好 ， 


























6379。 如 果 在 一 台 机 器 上 运行 多 个 Redis 服 























务 器 ， 这 特别 有 用 。1loglevel 默认 设置 为 verbose， 但 在 生产 环境 中 将 它 设置 为 notice 


或 warning 会 很 好 。1Logfia 











式 运行 Redis， 就 需要 一 个 文件 名 。 





























Le 输出 到 stdout〔 标 准 输出 ， 控 制 台 )， 但 如 果 在 守护 进程 模 

















database 设置 我 们 可 
切换 。 如 果 你 打算 








的 Redis 数据 库 的 数量 。 














只 使 用 单个 数据 库 命名 空间 ， 将 它 设 





昨天 我 们 看 到 了 如 何在 数据 库 之 间 
置 为 1 是 不 错 的 。 
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1. 持久 性 


Redis 有 几 个 持久 性 选项 。 首 先是 完全 不 持久 ， 即 所 有 值 仅 保存 在 内 存 中 。 如 果 你 正 
在 运行 一 个 基本 的 缓存 服务 器 ， 这 是 一 个 合理 的 选择 ， 因 为 持久 性 总 是 增加 延迟 。 


与 其 他 类 似 memcached :的 快速 访问 缓存 相 比 ,Redis 有 一 点 不 同 , 它 内 置 支持 将 值 保 存 
到 磁盘 。 在 默认 情况 下 ， 键 值 对 上 只 是 偶尔 保存 。 可 以 运行 LASTSAVE 命 令 ， 获 得 Redis 最 后 
一 次 成 功 写 入 磁 稳 的 UNIX 时 间 惟 ， 也 可 以 查看 服务 器 INFO 输 出 的 1ast_save_time 字 
段 。 


可 以 通过 执行 SAVE 命令 (或 BGSAVE， 在 后 台 异 步 保 存 ) 强制 持久 。 




































































I 







































































redis 127.0.0.1:6379> SAVE 











如 果 你 查看 Redis 服务 器 日 志 ， 会 看 到 类 似 于 下 面 的 行 : 








[46421] 10 Oct 19:11:50 * Background saving started by pid 52123 
[52123] 10 Oct 19:11:50 * DB saved on disk 
[46421] 10 Oct 19:11:50 * Background saving terminated with success 

















另 一 种 持久 性 方法 是 在 配置 文件 中 改变 快照 设置 。 
2. 快照 


可 以 通过 添加 、 删 除 或 改变 一 个 保存 字段 ， 来 修改 存储 到 磁盘 的 频率 。 在 默认 情况 下 
有 3 项 ， 由 关键 字 save 作为 前 级 ， 后 面 跟 的 是 以 秒 计 的 时 间 ， 以 及 至 少儿 个 键 发 生 改变 
会 号 入 做 盘 。 


例如 ， 只 要 有 键 改变 ， 每 $ 分 钟 (300 秒 ) 触发 一 次 保存 ， 你 会 这 样 写 : 






































save 300 1 






































Redis 配置 有 一 套 很 好 的 默认 值 。 这 组 默认 值 意味 着 ， 如 果 10 000 个 键 改变 了 ， 在 60 
秒 内 保存 ; 如 果 改 变 了 10 个 键 ， 在 300 秒 内 保存 ; 如 果 改 变 了 1 个 键 ， 至 少 在 900 秒 〈15 
分 钟 ) 内 保存 。 






































save 900 1 
save 300 10 
save 60 10000 





! http:/www.memcached.org/ 
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可 以 按照 需要 增 减 save 行 ， 以 精确 指定 阐 值 。 














8.3.4 AOF (append only file) 




















在 默认 情况 下 ，Redis 最 终 是 持久 的 ， 因 为 它 会 根据 保存 设置 定义 的 时 间 间 隔 ， 将 值 
异步 写 入 和 磁盘， 或 根据 客户 端 发 起 的 命令 ， 强 制 写 入 磁盘 。 对 于 二 级 缓存 或 会 话 服务 器 ， 
这 是 可 以 接受 的 ， 但 对 于 存储 你 需要 的 持久 数据 (如 金融 数据 )， 这 是 不 够 的 。 如 果 Redis 
服务 器 崩 江 ,我 们 的 用 户 对 金钱 上 的 损失 可 能 会 不 高 兴 。 


Redis 提供 了 一 个 仅 追 加 的 文件 (appendonly.aof)， 它 保留 了 所 有 写 命令 的 记录 。 
这 类 似 于 我 们 在 第 4 章 中 看 到 的 预 写 入 日 志 。 如 果 值 还 未 保存 之 前 服务 器 崩溃 ， 重 新 启动 
时 会 执行 这 些 命令 ,恢复 其 状态 ; 必须 在 redis .conf 文件 中 将 appendonly 设置 为 yes 
来 启用 它 。 


























































































































appendonly yes 





























然后 ， 我 们 必须 决定 命令 追加 到 文件 的 频率 。 设 置 为 always 持久 性 更 好 ， 因 为 每 
一 条 命令 都 会 保存 。 但 它 的 速度 也 慢 , 这 与 人 们 使 用 Redis 的 原因 相悖 。 默 认 情 况 下 采用 
everysec， 它 节省 了 时 间 ， 每 秒 钟 只 写 入 命令 一 次 。 这 是 一 个 体面 的 权衡 ， 因 为 它 足 够 
快 ， 在 最 坏 的 情况 下 ， 你 只 会 失去 最 后 一 秒 钟 的 数据 。 最 后 ，no 也 是 一 个 选项 ， 这 只 是 
让 操作 系统 处 理 磁盘 写 入 。 它 的 写 入 频率 相当 低 ， 选 择 它 通常 还 不 如 完全 忽略 仅 追 加 的 
文件 。 
































































































































appendfsync always 
appendfsync everysec 
appendfsync no 









































仅 追 加 的 文件 有 更 详细 的 参数 ， 当 你 需要 应 对 具体 的 生产 环境 问题 时 ， 可 能 值得 读 一 
读 配置 文件 里 的 参数 。 
1， 安 全 性 

虽然 Redis 本 来 不 打算 成 为 一 个 完全 安全 的 服务 器 ， 但 你 可 能 会 在 Redis 的 文档 中 遇 
到 requirepass 设置 和 AUTH 命令 。 忽 略 它们 也 没什么 问题 ， 因 为 它们 仅仅 是 设置 明文 
密码 的 模式 。 由 于 客户 可 能 在 一 秒 种 内 尝试 近 10 万 个 密码 ,因此 它 儿 乎 是 一 个 有 争议 的 问 
题 ， 更 不 用 说 明文 密码 本 身 就 不 安全 。 如 果 你 希望 Redis 安全 ， 最 好 使 用 一 个 好 的 防火 墙 
和 SSH。 


有 趣 的 是 ，Redis 允许 你 隐藏 或 禁止 命令 ， 通 过 隐 汐 提供 命令 级 别 的 安全 性 。 下面 
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将 FLUSHALL 命令 (从 系统 
c283d93ac9528f986023793b411e4ba2: 





8.3 第 2 天 





275 


























中 删除 所 有 的 键 ) 改 成 某 个 难以 猜测 的 值 ， 如 











rename-command FLUSHALL c283d93ac9528f986023793b411e4ba2 
















































































































































































如 果 试 图 对 这 个 服务 器 执行 FLUSHALL， 将 过 到 一 个 错误 。 但 秘密 命令 有 效 。 

redis 127.0.0.1:6379> FLUSHALL 

(error) ERR unknown command 'FLUSHALL'" 

redis 127.0.0.1:6379> c283d93ac9528f986023793b411e4ba2 

OK 

或 者 更 好 的 是 ， 可 以 将 它 设置 为 一 个 空白 字符 串 ， 完 全 禁用 这 条 命令 。 

rename-command FLUSHALL "™" 

可 以 将 任意 数量 的 命令 设置 为 空 字符 串 ， 从 而 减少 命令 环境 中 的 命令 。 

有 一 些 更 高 级 的 设置 ， 用 于 加 速 绥 慢 的 查询 日 志 ， 编 码 详细 信息 ， 调 整 延迟 ， 以 及 导 
入 外 部 配置 文件 。 但 要 记 住 ， 如 果 你 过 到 一 些 关 于 Redis 虚拟 内 存 的 文档 ， 你 最 好 尽 可 能 
避免 它 。 它 已 经 在 Redis 2.4 弃 用 了 ， 并 可 能 在 将 来 的 版 本 中 删除 。 

为 了 帮助 测试 你 的 服务 器 配置 ，Redis 提供 了 一 个 极 好 的 基准 测试 工具 。 默 认 情 况 下 ， 
它 连接 到 本 地 6379 端口 并 使 用 50 个 并 发 的 客户 端 发 起 10 000 个 请 求 。 可 以 使 用 参数 -n 
执行 100 000 个 请 求 。 





$ redis-benchmark -n 100000 
PING 
100000 requests completed in 3.05 seconds 


(inline) 
50 parallel clients 
3 bytes payload 
keep alive: 1 
5.03% 
98.44% 
99 . 92 多 
100.00% 
32808.40 requests per second 


<= 1 milliseconds 

<= 2 milliseconds 
<= 3 milliseconds 
<= 3 milliseconds 





还 测试 了 其 他 命令 ， 如 SADD 和 LRANGI 





时 间 。 














命令 一 般 来 说 会 花费 更 多 的 
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8.3.5” 主 从 复制 


就 像 我 们 看 到 过 的 其 他 NoSQL 数据 库 (如 MongoDB 和 Neo4j), Redis 支持 主 从 复制 。 
主 服务 器 。 数 据 将 复制 到 任意 数量 的 从 




















如 果 服 务 器 没有 设置 为 从 
务 髓 。 

















设置 从 属 服务 器 很 容易 。 




















属 服务器 ， 默 认 就 是 


i 

















， 需 要 redis .conf 文件 的 副本 。 





ye 




















耳 


人 ES 


dm 
et 
Rd 








$ cp redis.conf redis-sl.conf 








该 文件 将 基本 保持 不 变 ， 只 进行 以 下 改动 : 





port 6380 


slaveof 127.0.0.1 6379 





如 果 一 切 按 计 划 进 行 ， 


下 的 内 容 : 


当局 动 








从 属 服务 器 时 ， 














应 该 在 从 


型 


服务 器 的 























志 中 看 到 类 似 以 





$ redis-server redis-sl.conf 




















9003 6 Oct 23:51:52 * Connecting to MASTER... 
9003 6 Oct 23:51:52 * MASTER <-> SLAVE Sync started 
9003 6 Oct 23:51:52 * Non blocking connect for SYNC fired the event. 
9003 6 Oct 23:51:52 * MASTER <-> SLAVE sync: receiving 28 bytes from master 
9003 6 Oct 23:51:52 * MASTER <-> SLAVE sync: Loading DB in memory 
9003 6 Oct 23:51:52 * MASTER <-> SLAVE sync: Finished with success 
你 应 该 看 到 主 服务 器 日 志 中 字符 串 1 salves 的 输出 。 


























redis 127.0.0.1:6379> SADD meetings "StarTrek Pastry Chefs" "LARPers Intl." 














如 果 在 命令 行 连接 到 从 属 服务 器 ， 应 该 能 得 到 会 议 列 表 。 

redis 127.0.0.1:6380> SMEMBERS meetings 

1) "StarTrek Pastry Chefs" 

2) "LARPers Intl." 

在 生产 环境 中 ， 出 于 可 用 性 或 备份 目的 ， 你 通常 希望 实现 复制 ， 因 此 让 Redis 从 属 服 





务 器 运行 在 不 同 的 机 器 上 。 
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8.3.6 ”数据 转 储 
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到 目前 为 上 上， 关于 Redis 有 多 快 已 经 谈 了 很 多 ， 但 如 果 不 多 试 一 些 数据 ， 很 难 感受 
































这 一 点 





受到 


我 们 将 一 个 大 型 数据 集 插 入 Redis 服 务 器 。 如 果 你 喜欢 ， 你 可 以 保持 从 属 服务 器 运行 ， 


































































































首先 要 安装 redis Ruby gem。 





但 如 果 你 只 有 一 个 主 服 务 器 ， 那 么 笔记 本 电脑 或 台式 机 可 能 运行 得 更 快 。 我 们 将 获取 超过 
250 万 册 出 版 图 书 的 书 名 列表 ， 键 来自 于 Freebase.com 的 国际 标准 图 书 编号 (ISBN )。 





$ gem install redis 








有 几 种 方法 可 以 插入 大 型 数据 集 ， 它 们 一 个 比 一 个 快 ， 但 一 个 比 一 个 复杂 。 




















最 简单 的 方法 ， 就 是 简单 地 遍历 一 个 数据 列表 ， 并 对 每 个 值 使 用 标准 的 redis-rb 客 




















户 端 执行 SET 命令 。 








redis/isbn.rb 
LIMIT = 1.0 / 0 # 1.0/0 is Infinity In Ruby 


# Sw{rubygems hiredis redis/connection/hiredis}j.each{|r| regquire r} 


Sw{rubygems time redis}j.each{|r| require r} 


$redis = Redis.new(:host => "127.0.0.1", :port => 6379) 
$redis.flushall 


count, start = 0, Time.now 

File.open (ARGV[0]) .each do |linel 
count += 1 
next if count == 
isbn, _, _, title = line.split("\t") 
next if isbn.empty? || title == "\n" 


$redis.set (isbn, title.strip) 
# set the LIMIT value if you do not wish to populate the entire dataset 
break if count >= LIMIT 


end 


puts "#{count} items in #{Time.now - start} seconds" 


! http://download.freebase.com/datadumps/latest/browse/book/isbn.tsv 


278 第 8 章 Redis 


$ ruby isbn.rb isbn.tsv 
2456384 items in 266.690189 seconds 




















如 果 你 想 加 快 插 入 速度 ， 并 且 没 有 运行 JRuby， 可 以 选择 安装 hiredis gem。 这 是 
一 个 用 C 写 的 驱动 程序 ， 比 原生 的 Ruby 驱动 程序 快 很 多 。 然 后 取消 注释 hiredis require 
行 以 加 载 驱 动 程序 。 对 于 这 种 计算 密集 型 的 操作 ， 你 可 能 看 不 到 很 大 的 改善 ， 但 我 们 强烈 
建议 在 Ruby 生产 环境 中 使 用 hiredis。 






























































利用 管道 会 带 来 巨大 改进 。 这 里 以 1000 行 作为 一 个 批 次 , 利用 管道 完成 插入 。 减少 的 
重 入 时 间 超 过 了 300%。 























| 








redis/isbn pipelined.rb 
BATCH SIZE = 1000 
LIMIT = 1.0 / 0 # 1.0/0 is Infinity In Ruby 


# Sw{rubygems hiredis redis/connection/hiredis}j.each{|r| require r} 


8w{rubygems time redis}.each{|r| require r} 


$redis = Redis.new(:host => "127.0.0.1", :port => 6379) 
$redis.flushall 


# set line data as a single batch update 
def flush (batch) 
$redis.pipelined do 
batch.each do |saved linel 
isbn, _, _, title = line.split("\t") 


next if isbn.empty? || title == "\n™ 
$redis.set (isbn, title.strip) 
end 
end 


batch.clear 
end 


batch = [] 

count, start = 0, Time.now 

File.open (ARGV[0]) .each do 11inel 
count += 1 


next if count == 


# push lines into an array 
batch << line 


# if the array grows to BATCH SIZE, flush it 
if batch.size == BATCH SIZE 
flush (batch) 
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puts "#{count-1} items" 
end 
# set the LIMIT value if you do not wish to populate the entire dataset 
break if count >= LIMIT 
end 
# flush any remaining values 
flush (batch) 


puts "#{count-1} items in #{Time.now - start} seconds" 


$ ruby isbn pipelined.rb isbn.tsv 
2666642 items in 79.312975 seconds 

















让 


这 减少 了 所 需 的 Redis 连接 数 ， 但 创建 管道 的 数据 集 本 身 也 有 一 些 开 销 。 如 果 在 生产 









































环境 中 使 用 管道 ， 你 应 该 尝试 不 同 数量 的 批 次 操作 。 



































对 于 Ruby 用 户 顺便 提醒 一 下 ， 如 果 应 用 程序 通过 Event Machine 实现 非 阻 塞 ，Ruby 


























驱动 程序 可 以 通过 EM: :Protocol:: Redis.connect 使 用 em-synchrony。 


8.3.7 ”Redis 集 群 


式 Redis 集群 。Ruby 客户 端 redis-rb 支持 一 致 喻 希 管理 的 (consistent-hashing managed) 集 





和 5 















































除了 简单 的 复制 ， 很 多 Redis 客户 端 提供 了 一 个 接口 ， 用 于 建立 一 个 简单 的 专用 分 布 





























I 











你 可 能 还 记得 第 3 章 中 的 一 致 哈 希 ， 其 中 节点 可 以 添加 和 删除 ， 而 无 须 使 大 多 数 键 到 














配置 。 复 制 redis .conf 文件 并 修改 端口 为 6380。 这 是 服务 器 所 需 的 全 部 配置 。 




















期 。 这 是 同样 的 想法 ， 只 通过 一 个 客户 端 管理 ， 而 不 需要 服务 器 本 身 。 


























首先 ， 需 要 男 一 台 服 务 器 。 不 同 于 主 从 设置 ， 两 个 服务 器 都 将 采用 主 服 务 器 (默认 ) 












































Tele en CG I ee lo) 
LIMIT = 10000 


Sw{rubygems time redis}j.each{|r| require r} 
require 'redis/distributed' 


$redis = Redis::Distributed.new!([ 
"redis://localhost:6379/", "redis://1localhost:6380/" 

] ) 

$redis.flushall 


count, start = 0, Time.now 
File.open (ARGV[0]) .each do |linel 
count += 1 
next if count == 1 
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ishrniy 7 title'= Line split(™\t") 
next if isbn.empty? || title == "\n" 
$redis.set (isbn, title.strip) 


# set the LIMIT value if you do not wish to populate the entire dataset 


break if count >= LIMIT 
end 


puts "#{count} items in #{Time.now - start} seconds" 








跨 两 个 或 更 多 的 服务 器 ， 只 需要 对 现 有 的 ISBN 客户 端 做 一 些小 的 改动 。 首 先 ， 需 要 
require Redis gem 中 的 redis/distripbutegd 文件 。 














require 'redis/distributed' 








然后 用 Redis::Distributed 替换 Redis 的 客户 端 ， 并 传 入 服务 器 URI 的 数组 。 每 个 URI 























需要 redis 模式 、 服 务 器 〈localhost) 和 端口 。 

















$redis = Redis::Distributed.new!([ 
"redis://localhost:6379/", 
"redis://localhost:6380/" 

] ) 








客户 端的 运行 和 以 前 一 样 。 








$ ruby isbn cluster.rb isbn.tsV 














但 是 大 量 的 工作 由 客户 端 完成 ， 因 为 它 负责 计算 哪些 键 存 储 在 哪个 服务 器 上 。 可 以 试 






























































客户 端 将 从 正确 的 服务 器 存 取 值 。 


























8.3.8 Bloom 过 滤器 


着 通过 CLI， 从 每 个 服务 器 检索 同一 个 ISBN 键 ， 从 而 三 
只 有 一 个 客户 端 能 GET 到 一 个 值 。 但 只 要 通过 相同 的 Redis::Distributed 配 












































拥有 独特 的 名 字 是 极 好 的 策略 ,这 样 就 很 容易 在 网 








认 键 是 存储 在 单独 的 服务 器 上 。 














二 


置 来 检索 键 集合 ， 


























找到。 如果 你 要 写 一 本 名 为 《The 


Jabbyredis》 的 书 ， 你 几乎 可 以 衣 定 所 有 搜索 引擎 都 会 链接 你 。 我 们 写 一 个 脚本 , 针对 ISBN 






































目录 中 的 所 有 书 名 使 用 的 所 有 单词 ， 快 速 检查 
器 (bloom filter) 来 测试 一 个 单词 是 否 用 过 。 



































Bloom 过 滤器 是 一 个 概率 数据 结构 ， 它 检查 一 个 项 是 否 不 在 集 





在 4.3.4 节 。 虽然 它 可 能 存在 误 判 , 但 误 判 不 可 外 








个 单词 是 否 是 叭 





























# 不 存在 。 如 果 你 需 

















的 。 可 以 用 Bloom 过 滤 


中 ， 第 一 次 提 到 它 是 
迅速 发 现 一 个 值 是 否 























8.3 第 2 天 : 高 级 用 法 ， 分 布 


























在 系统 中 不 存在 ， 它 是 非常 有 用 的 。 
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Bloom 过 滤器 将 转换 一 个 值 为 一 个 非常 稀 琉 的 位 序列 ， 与 所 有 值 的 位 序列 并 集 进 行 比 









































较 ， 从 而 成 功 发 现 不 存在 性 。 换 言 之 ， 当 添加 一 个 新 值 时 ， 它 对 当前 的 Bloom 过 滤器 位 序 
列 执行 或 (OR) 运算。 如 果 要 检查 一 个 值 是 否 已 经 在 系统 中 ， 就 对 Bloom 过 滤器 的 序列 执 
行 与 “AND)》 运 算 。 如 果 该 值 有 一 些 位 为 真 ， 但 Bloom 过 滤器 的 对 应 位 不 为 真 ， 则 从 未 汪 
































































































































加 该 值 。 换 言 之 ， 这 个 值 绝对 不 在 Bloom 过 滤器 中 。 这 个 概念 的 图 形 表示 ， 请 参阅 图 























图 8-3 Bloom 过 滤器 只 检查 不 存在 性 














8-3。 


我 们 来 写 一 个 程序 ， 对 一 系列 ISBN 书籍 数据 循环 ， 提 取 并 简化 每 本 书 的 书 名 文字 ， 
并 将 它们 分 割 成 单个 单词 。 每 个 遇 到 的 新 词 都 用 Bloom 过 滤器 检查 。 如 果 Bloom 过 滤器 返 
回 flse， 表 明 在 Bloom 过 滤器 中 不 存在 这 个 词 ， 然 后 继续 并 添加 它 。 就 这 样 一 直 运 行 ， 可 





















































以 输出 所 有 添加 的 新 词 。 








$ gem install bloomfilter-rb 

ned /en 

# LIMIT = 1.0 / 0 # 1.0/0 is Infinity ID Ruby 
LIMIT= 10000 


8w{rubygems time bloomfilter-rb}j.each{|r| require r} 


bloomfilter = BloomFilter::Redis.new(:size => 1000000) 


$redis = Redis.new(:host => "127.0.0.1", :port => 6379) 
$redis.flushall 


count, start = 0, Time.now 
File.open (ARGV[0]) .each do 11inel 
count += 1 
next if count == 1 
Sr title =: Line: SpLlit("™\t") 
next IE title == "\n" 


words = title.gsub(/[^\w\s]+/, '') .downcase 
# puts words 
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words = words.split(' ') 


words.each do |word| 
# skip any keyword already in the bloomfilter 
next if pbloomfilter.include? (word) 
# output the very unique word 
puts word 
# add the new word to the bloomfilter 
bloomfilter.insert (word) 
end 
# set the LIMIT value if you do not wish to populate the entire dataset 
break if count >= LIMIT 


end 
puts "Contains Jabbyredis? #{bloomfilter.include?('jabbyredis')}" 


puts "#{count} lines in #{Time.now - start} seconds" 












































Ruby 神童 伊利 亚 。 格 里 高 里 克 (ILya Grigorik) 创造 了 这 个 基于 Redis 的 Bloom 过 滤 
器 ， 但 是 这 个 概念 可 以 用 于 任何 编程 语言 。 


使 用 相同 的 ISBN 文件 运行 客户 端 ， 但 是 只 需要 书 名 。 









































$s Tuby Lsbn: Dfyrb, Liebrntsy 

















在 输出 的 开始 ， 你 应 该 看 到 大 量 常用 词 ， 比 如 ，and 和 也 e。 接 近 集 合 的 结尾 ， 单 词 越 
来 越 深 奥 难 懂 ， 比 如 ，unindustria。 


这 种 方法 的 好 处 是 能 够 检测 到 重复 的 单词 。 缺 点 是 会 存在 一 些 误 报 : Bloom 过 滤器 可 
能 误 判 我 们 从 未 见 过 的 一 个 单词 。 这 就 是 为 什么 在 一 个 真实 的 用 例 中 ， 你 会 进行 一 些 辅助 
检查 ， 如 对 一 个 记录 系统 执行 较 慢 的 数据 库 查 询 ， 它 应 该 只 在 很 少 的 时 候 发 生 ， 假 定 过 波 
器 的 尺寸 足够 大 ， 这 是 可 计算 的 。 











































































































8.3.9 SETBIT 和 GETBIT 




















正如 前 面 提 到 的 ，Bloom 过 滤器 在 稀疏 二 进 制 字 段 中 翻转 某 些 位 ， 从 而 发 挥 作用 。 在 
刚才 用 到 的 Redis Bloom 过 滤器 实现 中 ， 使 用 了 两 个 较 新 的 Redis 命令 来 执行 这 样 的 操作 ， 
即 SETBIT 和 GETBIT。 












































! http://en.wikipedia.org/wiki/Bloom _ filter 


像 所 有 的 Redis 命令 一 样 ，S 
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ETBIT 



































有 很 好 的 描述 性 。 该 命令 在 一 个 位 序列 的 特定 


























































































































































































































位 置 设置 一 位 (1 或 0)， 该 序列 初始 为 零 。 这 常用 于 高 性 能 的 多 元 标记 : 翻转 几 位 要 快 于 
写 一 组 描述 性 字符 串 。 

如 果 我 们 要 记录 汉堡 包 的 配 业 , 就 可 以 给 每 个 配 菜 类 型 分 配 一 个 二 进 制 位 ， 如 番 闸 沦 = 
0， 芥 末 = 1， 洋 黎 =2， 生 菜 =3。 因 此 ， 只 有 芥末 和 洋 获 的 汉堡 包 可 以 表示 为 0110， 并 
在 命令 行 设置 : 

redis 127.0.0.1:6379> SETBIT my burger 1 1 

(integer) 0 

redis 127.0.0.1:6379> SETBIT my burger 2 工 

(integer) 0 

稍 后 ， 一 个 过 程 可 以 检查 我 的 汉堡 是 否 有 生菜 或 芥末 。 返 回 0 表示 没有 ， 返 回 1 表 
示 有 

redis 127.0.0.1:6379> GETBIT my burger 3 

(integer) 0 

redis 127.0.0.1:6379> GETBIT my burger 1 

(integer) 1 

Bloom 过 滤器 的 实现 利用 了 这 一 点 ， 它 将 一 个 值 哈 希 为 多 位 值 。 它 在 insert () 中 对 
每 个 为 1 的 位 置 调用 SETBIT x 1 (其 中 XX 是 该 位 的 位 置 )， 并 在 include? () 中 调用 
GETBIT 验证 存在 性 : 如 果 任 何 GETBIT 位 置 返回 0， 返回 false。 

如 果 底 层 系统 较 慢 ，Bloom 过 滤器 对 于 减少 不 必要 的 流量 是 极 佳 的 。 底 层 系统 可 能 是 


较 慢 的 数据 库 、 受 限制 的 资源 ， 或 网 络 请 求 。 如 果 你 有 
新 用 户 ， 就 可 以 先 用 Bloom 过 滤器 检查 一 个 IP 地 址 是 否 存在 于 系 


























个 较 慢 的 耳 地 址 数据 库 ， 并 且 你 



































要 跟踪 访问 网 站 的 所 有 
统 中 。 如 果 Bloom 过 滤器 返回 false， 








如 果 Bloom 过 滤器 返 


助 查 找 以 有 


8.3.10 


了 最 后 一 点 速度 。 正 如 我 们 在 第 1 天 看 到 
单 操作 ， 但 是 通过 内 置 


配置 性 非常 好 ， 有 许多 持久 怕 




















定 。 这 就 是 为 什么 计算 正 砷 
器 可 以 减少 (但 不 消除 ) 错误 率 或 误 判 的 可 能 性 。 


回 true， 这 个 卫 # 


全 











未 知道 IP 地 址 尚未 添加 ， 并 可 以 作出 相应 的 反应 。 
也 址 在 后 端 可 能 存在 ， 也 可 能 不 存在 ,需要 一 定 的 辅 
























































第 2 天 总 结 


今天 ， 我 们 丰富 了 对 Redis 的 研究 ， 





和 的 大 小 是 非常 重要 的 : 一 个 大 小 合适 的 Bloom 过 滤 








超 














越 了 简单 的 操作 ， 从 一 个 非常 快 的 系统 中 榨取 
的 ，Redis 提供 了 快速 、 灵 活 的 数据 结构 存储 和 简 



































的 发 布 -订阅 功能 





























E 和 复制 设置 选项 ， 满 足 你 的 各 种 





[位 操作 ， 它 同样 善于 完成 更 复杂 的 行为 。 它 的 可 
需求 。 它 还 支持 一 些 不 错 的 
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第 三 方 扩 展 ， 如 Bloom 过 滤器 和 和 集群。 





章 Redis 








这 也 结束 了 Redis 数据 结构 存储 的 主要 操作 的 介绍 。 明 天 ， 我 们 将 要 做 一 些 略 微 不 同 
的 事情 , 以 Redis 作为 基石 ,加 上 CouchDB 和 Neo4j, 实现 多 持久 并 存 (polyglot persistence)。 









































第 2 天 作业 

1. 找 出 都 有 哪些 消息 模式 ， 并 发 现 Redis 可 以 实现 多 少 种 。 

实践 

1. 在 将 所 有 快照 和 仅 追 加 文件 设置 关闭 的 情况 下 ,运行 ISBN 填充 脚本 。 然 后 尝试 将 


appendfsync 设置 




















Le 

















为 always， 再 运行 脚本 ， 记 下 速度 差异 。 


























2. 使 用 你 最 喜爱 的 编程 语言 的 Web 框架 ， 尝 试 构建 一 个 简单 的 短 URL 服务 ， 使 用 


Redis 作为 后 端 ， 提 供 一 个 URL 输入 框 ， 并 支持 基于 URL 的 简单 重 定向 。 后 端 使 
用 Redis 主 从 复制 集群 ， 在 多 个 节点 上 进行 备份 。 





8.4 第 


今天 ， 




































































3 天 : 与 其 他 数据 库 合 作 


我 们 将 结束 数据 库 的 最 后 一 章 ， 配 合 使 用 前 面 介绍 的 一 些 数 据 库 。 当 然 ，Redis 























将 发 挥 主要 作用 ， 使 我 们 与 其 他 数据 库 之 间 的 互动 更 快 ， 更 容易 。 











在 整 本 





























书 中 ,我 们 已 经 了 解 到 ,不 同 的 数据 库 有 各 自 不 同 的 优势 ， 有 许多 现代 系统 





























的 设计 转向 多 持久 并 存 的 模型 ,各 种 数据 库 在 系统 中 各 自发 挥 不 同 的 作用 。 你 将 学 习 如 
何 构建 这 样 的 一 个 项 目 ， 用 CouchDB 作为 记录 系统 (规范 的 数据 源 )， 用 Neo4j 处 理 数 









































据 关 系 ， 








se 
请 六 忌 














并 用 Redis 辅助 实现 数据 填充 和 缓存 。 请 把 这 个 项 目 看 成 你 的 期 末 考 试 。 























， 这 个 项 目 并 不 证 明 本 书 的 作者 偏爱 一 套 特定 的 数据 库 、 语 言 或 框架 ， 而 是 为 






































了 展示 多 个 数据 库 可 以 如 何 配 合 ， 充 分 利用 各自 的 能 力 ， 达 到 一 个 共同 的 目标 。 























8.4.1 多 持久 并 存 服务 


多 持久 》 








存 服务 将 作为 乐队 信息 服务 的 一 个 前 端 。 我 们 要 存储 乐队 名 称 的 列表 ， 在 这 些 





























乐队 中 表演 的 艺术 家 ， 以 及 每 个 艺术 家 在 乐队 中 担任 的 各 种 角色 ， 从 主唱 到 后 备 键盘 吉他 演奏 
员 等 。 三 个 数据 库 (Redis、CouchDB 和 Neo4j ) 分 别处 理 乐 队 管 理 系统 的 不 同方 面 。 


Redis 在 系统 中 起 着 三 个 重要 的 作用 : 协助 将 数据 填充 到 CouchDB， 作 为 Neo4j 最 近 
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变化 的 缓存 ， 作 为 部 分 值 搜索 的 快速 查找 。 它 的 速度 和 存储 多 种 数据 格式 的 能 力 非常 适合 
数据 填充 ， 而 其 内 置 的 到 期 策略 可 以 完美 地 处 理 数据 缓存 。 


CouchDB 是 记录 系统 (SOR，System Of Record) 或 权威 数据 源 。CouchDB 的 文档 结 
构 能 够 方便 地 存储 乐队 数据 ， 包 括 顽 套 的 艺术 家 和 角色 信息 ， 同 时 将 利用 CouchDB 中 的 
Changes API， 保 持 第 三 个 数据 源 的 同步 。 


Neo4j 是 关系 存储 库 。 虽 然 直接 查询 CouchDB 的 SOR 是 完全 合理 的 ， 但 图 形 数据 存 
储 库 人 允许 我 们 简单 快速 地 通过 节点 关系 导航 ， 而 其 他 的 数据 库 在 时 间 上 难以 匹敌 。 我 们 将 
存储 乐队 、 乐 队 成 员 ， 以 及 成 员 扮 演 的 角色 之 间 的 关系 。 


每 个 数据 库 都 在 系统 中 发 挥 特 定 的 作用 ， 但 它们 不 会 原生 地 通信 。 我 们 使 用 
Node.js JavaScript 框架 填充 数据 库 , 在 它们 之 间 通 信 , 并 作为 一 个 简单 的 前 端 服务 器 。 
于 将 多 个 数据 库 联 接 在 一 起 需要 一 些 代 码 ， 所 以 在 这 最 后 一 天 ， 我 们 看 到 的 代码 比 














































































































































































































8.4.2 ”数据 填充 


第 一 项 业务 是 用 必要 的 数据 填充 数据 存储 。 这 里 采取 两 阶段 的 方法 ， 首 先 填充 Redis 
数据 库 ， 然 后 填充 CouchDB SOR。 



























































多 持久 并 存 的 兴起 
多 语言 编程 的 现象 正 日 益 增 多 ， 同 样 ， 多 持久 并 存 正 不 断 取得 进展 。 


如 果 你 不 熟悉 这 种 做 法 ， 多 语言 编程 是 一 个 团队 在 单个 项 目 中 使 用 多 种 编程 语言 。 与 
此 不 同 ， 过 去 的 惯例 是 在 整个 项 目 中 使 用 一 种 通用 语言 。 使 用 多 种 编程 语言 是 有 用 的 ， 
因为 不 同 的 语言 有 其 固有 优势 。 像 Scala 这 样 的 框架 ， 可 能 更 适合 在 Web 上 处 理 服务 
器 端的 无 状态 事务 ， 而 像 Ruby 这 样 的 语言 可 能 对 业务 逻辑 更 友好 。 一 起 使 用 时 ， 它 们 
形成 了 配合 。 众 所 周知 ，Twitter 就 使 用 了 这 样 的 多 种 语言 系统 。 我 们 看 到 的 一 些 数据 
库 本 身 就 支持 多 语言 编程 , Riak 在 编写 mapreduce 时 支持 JavaScript 和 Erlang, 而 且 一 
个 请 求 就 可 以 执行 这 两 种 语言 。 


类 似 于 多 语言 编程 ， 使 用 多 持久 共存 ， 你 可 以 在 同一 系统 中 利用 多 种 数据 库 的 优势 ， 
而 不 是 目前 熟悉 的 方式 ， 即 使 用 单一 数据 库 ， 很 可 能 是 关系 数据 库 。 这 种 形式 的 一 个 
基本 变异 已 经 很 常见 了 : 使 用 Redis 这 样 的 键 值 对 存储 库 ， 作 为 较 慢 的 关系 数据 库 ( 如 
PostgreSQL ) 查询 的 缓存 。 正 如 我 们 在 前 面 的 章节 中 看 到 的 ， 关 系数 据 库 的 一 些 问题 
并 非 最 佳 选择 ， 如 图 的 遍历 。 这 样 的 问题 越 来 越 多 。 但 即使 是 这 些 新 数据 库 ， 也 只 是 
整个 需求 银河 中 闪 兆 的 几 颗 星星 。 
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为 什么 突然 对 多 持久 共存 产生 了 兴趣 ? 马丁 . 福 勒 (Martin Fowler ) 曾经 写 道 "， 


利用 


一 个 中 央 数 据 库 来 集成 多 个 应 用 程序 ， 这 是 软件 设计 中 常见 的 模式 。 这 个 数据 库 集 成 
模式 一 度 很 流行 ， 现 在 已 经 让 位 于 中 间 件 层 模 式 ， 即 多 个 应 用 程序 通过 基于 HTTP 的 
服务 层 通 信 。 这 让 中 间 件 服务 不 必 依 赖 于 任何 数量 的 数据 库 ， 在 多 持久 并 存 的 情况 下 ， 


不 必 依 赖 于 任何 类 型 的 数据 库 。 


a. http://martinfowler.com/bliki/DatabaseThaw.html 


如 同 在 前 面 的 章节 中 一 样 ， 
rcoup_membezship， 它 是 用 制 表 符 分 隔 的 数据 
只 有 兴趣 提取 member (艺术 家 的 名 字 )、gtroup (乐队 的 名 字 )， 以 及 roles (他 们 在 





9 























队 中 扮演 的 角色 ， 另 存 为 一 个 逗号 分 割 的 列表 )。 候 





从 Freebase.com 下 载 数 据 集 。 这 里 将 使 用 
1。 该 文件 包含 了 大 量 信息 ， 但 是 我 们 








Ee jy, 


vocalist、Acoustic guitar player 和 Bassist. (主唱 、 声 


地 


























i 


小 














1 如 ，John Cooper 在 Skillet 乐 队 中 是 Lead 
吉他 手 和 贝斯 手 





2 





/m/0654bxy John Cooper Skillet Lead vocalist,Acoustic guitar,Bass 1996 





最 终 , 要 将 John Cooper 和 Skillet 乐队 的 其 他 成 员 组 织 至 








| 下面 这 样 一 个 CouchDB 文档 





中 ， 存 储 于 URLhttp://localhost:5984/bands/Skillet: 





{ 
人 : 


"namen : 


"Skillet", 
"Skillet™" 
"tt | 
{ 
"name": "John Cooper"™, 
"role": [ 
"TAGOUStIiC ouUrtar 
"Lead vocalist", 
"Bass" 


"name": “Korey Cooper"™; 
"role": [ 
"backing vocals", 
"Synthesizer"™, 
"Guitar"™, 


"Keyboard instrument" 





! http://download.freebase.com/datadumps/latest/browse/music/group_membership.tsv 


这 个 文件 包含 了 超过 10 万 名 乐队 成 员 ， 0 
个 很 好 的 起 点 ， 用 于 建立 你 自己 的 系统 。 
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3 万 个 乐队 。 这 不 是 很 多 , 但 它 是 
并 非 每 个 艺术 家 的 角色 有 记录 。 这 是 一 











请 青 注意 导 ， 




















个 不 完整 的 数据 集 ， 但 我 们 可 以 稍 后 再 处 理 这 个 问题 。 
1. 第 1 阶段 : 数据 转换 








你 可 能 想 知道 ， 




















员 添 加 到 CouchDB 中 ， 
档 ， 当 其 中 一 个 检查 CouchDB 的 版 本 出 现 故 障 时 ， 











这 一 策略 有 个 缺点 ， 
利用 我 们 在 第 











Manager，NPM )。 


为 什么 我 们 要 缆 寻 



































条 记录 ，Redis 让 我 们 能 够 
一 行 表示 )。 针 

















和 地 填充 Redis， 而 不 是 直接 填充 CouchDB。Redis 作 
为 中 间 人 ， 为 扁平 的 TSV 数据 添加 了 结构 ， 这 样 ， 随 后 插入 另 一 个 数据 库 就 第 
们 的 计划 是 为 每 个 乐队 创建 一 
每 个 乐队 成 员 的 名 字 一 一 每 个 乐队 成 员 1 




















快 。 因 为 我 
次 扫描 TSV 文件 (其 中 列 出 了 
对 文件 中 的 每 一 行 , 直接 将 一 个 成 
























































它 受 到 Redis 的 限 汕 


2 天 看 到 的 简单 一 致 散 列 集群 ， 这 个 缺点 可 以 克服 。 


拿 到 数据 文件 后 ， 请 确保 你 
一 旦 完成 了 这 些 准 




















可 能 导致 更 新 凑 航 ; 
































备 工 作 ， 就 





两 行乐 队 成 员 试图 


上 1， 只 能 























司 时 创建 /更 新 同一 乐队 文 
将 迫使 系统 重新 插入 。 


将 整个 数据 集 保 存在 内 存 中 一 一 但 是 





























安装 了 Node.js 以 及 Node 程序 包 管 理 器 (Node Package 


需要 安装 三 





个 NPM 项 目 : redis、csv 和 


hiredis 我 们 昨天 学 过 的 可 选 的 Redis C 驱动 程序 ， 可 以 大 大 加 速 Redis 的 交互 )。 








$ npm install hiredis redis csy 





然后 ， 检 查 你 的 Redis 服务 器 
createClient() 函 数 ， 指 问 你 的 Redis 端 


























运行 在 默认 的 6379 端口 上 ， 或 改变 每 个 脚本 的 


可 以 在 TSV 文件 所 在 的 目录 下 ， 运 行 下 面 的 Node.js 脚本 ， 向 Redis 填充 数据 ， 假 设 





TSYV 文件 命名 为 group membership.tsv。( 我 们 要 看 的 所 有 JavaScript 文件 
长 ， 所 以 本 书 没 有 把 它们 完整 地 列 晶 
载 。 这 里 我 们 上 只 关注 每 个 文件 的 核心 内 容 。) 下 载 











都 相当 宛 








来。 所 有 代码 都 可 以 从 Pragmatic Bookshelf 的 网 站 下 





并 运行 以 下 文件 : 





$ node pre populate.js 





这 个 脚本 主要 是 遍历 TSV 文件 的 每 一 
家 在 乐队 中 扮演 的 角色 。 然 后 ， 它 将 这 些 值 


每 个 Redis 乐队 键 的 格式 是 "band: 乐 
艺术 家 名 字 的 集合 中 。 所 以 ， 








"Paul McCartney", 


["Drums"]。 





加 到 














行 并 提取 艺术 家 的 名 字 、 


乐队 的 名 字 ， 以 及 艺术 
Redis( 跳 过 所 有 空 值 )。 





























键 "band:Beat] 





队 的 名 字 "。 


该 脚本 将 这 个 艺术 家 的 名 字 添 加 到 


s" 将 包含 值 的 集合 [ 














"John Lennon", 

















"George Harrison", 


乐队 的 名 字 并 同样 包含 角 


色 的 集合 。"artist: 











。 艺 术 家 键 也 将 包含 


Beatles:Ringo Starr" 将 包含 集合 


"Ringo Starr"] 
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其 他 的 代码 只 是 记录 我 们 已 经 处 理 了 多 少 行 ， 并 将 结果 输出 到 屏幕 上 。 

















redis/pre populate.js 
CSV() . 
fromPath( tsvFileName, { delimiter: '\t', quote: '' }). 
on('data', function(data, index) { 
var 
artist = datal[2], 
band = datal[l3], 
roles = buildRoles (datal[4]); 


if( band === t | artist .=== 0 0) { 
trackLineCount () ; 
return true; 


} 


redis client.sadd('band:' + band, artist); 
roles.forEach (function(role) { 
redis client.sadd('artist:' + band + ':' + artist, role); 
}); 
trackLineCount () ; 














埃 里 克 说 : 

非 阻塞 代码 

在 开始 这 本 书 之 前 ， 我 们 只 是 顺便 熟悉 了 编写 事件 驱动 的 非 阻 塞 应 用 程序 。 非 阻塞 的 意 
思 很 明确 : 不 等 待 一 个 长 时 间 运 行 的 过 程 完 成 ， 主 代码 将 继续 执行 。 不 论 你 响应 阻塞 事 
件 需要 做 什么 ， 都 放 在 一 个 函数 或 代码 块 内 ， 以 后 再 执行 。 实 现 方式 可 以 是 生成 一 个 单 
独 的 线程 ， 起 霜 以 昼 庆 裔 于 ， 实 现 一 个 反应 器 模式 (reactor pattern ) 事件 驱动 方法 。 
在 阻塞 程序 中 ， 可 以 编写 代码 查询 数据 库 、 等 待 ， 并 遍历 结果 。 





results = Qatabase.some_query () 
for Value in results 
# do something with each value 
end 
# this is not executed until after the results are looped... 





在 事件 驱动 程序 中 ， 你 将 一 个 循环 作为 一 个 函数 或 代码 块 传 入 。 当 数据 库 正 在 做 
它 自己 的 事情 时 ， 程 序 的 其 余部 分 可 以 继续 运行 。 只 有 在 数据 库 返 回 结果 时 ， 函 
数 /代码 块 才 执行 
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database.some query do |resultsl| 


for value in results 
# do something with each value 
end 


end 


# this continues running while the database performs its query... 





我 们 花 了 很 长 一 段 时 间 ， 才 认识 到 这 样 做 的 好 处 。 当 等 待 数据 库 时 ， 程 序 的 其 余部 分 


可 以 运行 而 不 是 闲置 ， 


确实 如 此 ， 但 是 这 常见 吗 ? 显然 是 这 样 ， 因 为 当 我 们 开始 以 这 


种 风格 编码 时 ， 我 们 注意 到 延迟 下 降 了 一 个 数量 级 。 


我 们 尽 可 能 保持 代码 的 简单 ， 可 是 以 非 阻塞 方式 与 数据 库 交 互 本 来 就 是 一 个 复杂 的 过 
但 正如 我 们 所 了 解 到 的 ， 一 般 来 说 ， 这 是 与 数据 库 打 交道 的 一 个 很 好 的 方法 。 几 


程 。 


乎 每 一 种 流行 的 编程 语言 


都 有 菜 种 非 阻塞 库 .Ruby 有 EventMachine, Python 有 Twisted， 


Java 提供 了 NIO 库 ，C# 有 Interlace， 当 然 ，JavaScript 有 Node.js。 






































启动 redis-cli 并 执行 RANDOMKEY， 可 以 检查 该 代码 已 经 填充 了 Redis。 我 们 








的 键 ， 值 不 是 (nil) 就 对 了 。 


然 Redis 已 经 被 数据 填充 ， 立 即 着 手下 一 步 。 关 闭 Redis 可 能 会 丢失 数据 ， 除 非 你 
































CouchDB 将 作为 记录 系统 (SOR )。 如 果 在 Redis、CouchDB 或 Neo4j 之 间 发 生 任何 数 
CouchDB 将 胜出 。 一 个 良好 的 SOR 应 该 包含 所 有 必要 的 数据 ， 以 便 在 需要 时 重 


























预期 会 看 到 一 个 带 前 级 band: 或 artist: 
既 
选择 设置 比 默认 更 高 级 别 的 持久 性 ， 或 启动 SAVE 命令 。 
2. 第 2 阶段 ; SOR 插入 
据 冲 突 ， 
建 该 领域 中 的 任何 其 他 的 数据 源 。 














用 
creat 


着 。 下 








保 CouchDB 运行 在 默认 的 5984 端口 上 ,或 在 下 面 的 代码 中 把 require('http'). 
eClient (5984,'localhost') 将 更 改 为 你 需要 的 端口 号 ,Redis 也 应 该 仍然 运行 





载 并 运行 以 下 文件 : 














$ node populate couch.js 





因 





简单 的 


在 
字 的 列 


只 得 到 











为 第 1 阶段 所 做 的 都 是 从 TSV 获取 数据 并 填充 Redis， 所 以 这 个 阶段 所 做 的 是 获取 
Redis 的 数据 并 填充 CouchDB 。 我 们 不 使 用 CouchDB 的 任何 特殊 驱动 程序 ， 因 为 它 是 一 个 
REST 接口 ， 而 且 Node.js 有 一 个 内 置 的 简单 HTTP 库 。 






































下 面 的 代码 块 中 ， 执 行 Redis 的 命令 KK 




















EYS bands :*， 得 到 在 系统 中 所 有 的 乐队 名 











表 .。 如 果 我 们 有 一 个 非常 大 的 数据 集 , 我 们 可 以 加 上 更 小 的 范围 限定 (例如 ,bands:A* 











以 a 开头 的 乐队 的 名 字 ， 等 等 )。 然 后 ， 








针对 每 个 乐队 ， 获 取 艺 术 家 的 集合 ， 并 从 键 
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字符 串 中 删除 前 绥 bands:， 提 取 键 中 乐队 的 名 字 。 











redis/populate couch.js 
redisClient.keys('band:*', function(error, bandKeys) { 
totalBands = bandKeys.length; 
var 
readBands = 0, 
bandsBatch = []; 


bandKeys.forEach (function (bandKey) { 
// substring of 'band:'.length gives us the band name 


Var bandName = bandKey.substring(5); 


redisClient.smembers (bandKey, function(error, artists) { 

















下 一 步 ， 我 们 得 到 每 一 位 艺术 家 在 这 个 乐队 中 的 所 有 角色 ，Redis 将 其 作为 一 个 数组 
的 数组 (每 个 艺术 家 的 角色 是 自己 的 数组 ) 返回 。 可 以 将 Redis 的 一 些 SMEMBERS 命令 存 
入 到 一 个 名 为 roleBatch 的 数组 中 ， 并 在 一 个 MULTI 批 次 中 执行 它们 ， 来 做 到 这 一 点 。 
实际 上 ， 这 将 执行 单一 的 管道 化 请 求 ， 像 下 面 这 样 : 















































MULTI 
SMEMBERS "artist:Beatles:John Lennon" 
SMEMBERS "artist:Beatles:Ringo Starr" 
EXEC 





In 





从 这 些 数 据 ， 生 成 每 批 50 个 CouchDB 文档 。 建立 50 个 文档 的 批 次 ， 因 为 随后 发 送 整 
个 集合 给 CouchDB 的 /_bulk_docs 命令 ， 让 我 们 非常 、 非 常 快速 地 插入 数据 。 




















redis/populate couch.js 
redisClient. 

multi (roleBatch). 

exec (function (err, roles) 


{ 


var 
i = 0, 
artistDocs = []; 


// build the artists sub-documents 
artists.forEach( function(artistName) { 

artistDocs.push({ name: artistName, role : roles[i++] }); 
}); 


// add this new band document to the batch to be executed later 
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bandsBatch.push({ 
_id: couchKeyify( bandName )， 
name: bandName, 
artists: artistDocs 
}); 
填充 完 乐 队 数据 库 ， 现 在 系统 要 求 的 所 有 数据 都 在 一 个 位 置 。 我 们 知道 许多 乐队 的 名 





字 ， 在 乐队 中 演出 的 艺术 家 ， 以 及 他 们 在 这 些 











尝试 我 们 





刚刚 在 


























乐队 中 扮演 


CouchDB ! 



































的 角色 。 
用 数据 填充 的 乐队 记录 系统 , 地 





址 是 http: ee dt :5984/ utils/database.html?bands。 


8.4.3 ”关系 存储 











下 一 步 是 Neo4j 服务 ,我们 将 用 它 来 记录 艺术 家 和 他 们 所 扮演 的 角色 之 间 的 关系 。 我 们 









































当然 可 以 通过 创建 视图 直接 查询 CouchDB, 但 是 我 们 在 基于 关系 的 复杂 
果 Flaming Lips 乐队 的 Wayne Coyne 在 表演 之 前 














乐队 的 Charlie Clouser 要 ， 
即使 他 们 在 不 同 的 乐队 中 扮演 不 























改变 填充 到 Neo4j。 














后 者 也 演奏 电子 琴 。 
色 





同 的 角 











有 了 初始 数据 ， 如果 记录 系统 有 任何 数据 
步 。 所 以 ， 就 采用 一 石 二 乌 的 办 法 ， 建立 一 个 
我 们 也 希望 月 








Cj 








1 丢失 了 他 的 电子 全 


查询 上 相当 有 限 。 如 
,他 可 以 向 Nine Inch Nails 
或 者 我 们 可 以 发 现 有 很 多 重 考 才能 的 艺术 家 ， 
简单 遍历 各 节点 就 可 以 做 到 这 一 点 。 

















改变 ,我们 都 需要 保持 Neo4j 与 CouchDB 同 











服务 ， 将 
































数据 库 创 建 以 来 CouchDB 的 所 有 
我 们 的 乐队 、 艺 术 家 和 角色 的 键 填充 Redis， 这 样 以 后 就 








可 以 快速 访问 这 些 数据 。 令 人 高 兴 的 是 ， 这 包括 了 我 们 已 经 填充 到 CouchDB 的 所 有 数据 ， 





请 确保 Neo4j 运行 在 7474 端口 上 
端口 。CouchDB 和 Redis 应 该 保持 ; 


你 关闭 它 























因此 我 们 省 掉 了 单独 的 Neo4j 和 Redis 的 初始 数据 填充 步骤 。 








， 或 相应 改变 createClient 1() 





运行 。 下 载 并 运行 以 下 文件 。 








这 个 文件 将 持 乡 

















函数 以 使 用 正确 的 
卖 运行 直到 
































$ node graph sync.js 








这 个 服务 器 只 是 使 用 在 第 6 
每 当 检 测 到 更 改 时 ， 
数 填充 Redis。 
遵循 同一 模式 。 

这 样 ,可 以 搜索 部 分 字 
Beastie Boys、 























友人 夺 器 


子 付 串 





Beatles 等 。 


我 们 做 两 件 











en [ 
章 

















。 例 如 ， 


看 到 的 连 乡 
事 : 填充 Redis 
首先 ， 它 填充 乐队 为 "pand-name: 





KEYS 














填充 Neo4j。 














band-name: 





Band Name"。 


Bea* 可 以 返 


苇 投 票 的 例子 ， 追 踪 所 有 CouchDB 的 变更 。 
这 部 分 代码 通 过 层 辣 回调 函 
艺术 家 的 名 字 和 角 








色 也 

















回 : Beach Boys、 
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redis/graph sync.js 
function feedBandToRedis (band) { 
redisClient.set('band-name:' + band.name, 1); 
band.artists.forEach (function (artist) { 
redisClient.set('artist-name:' + artist.name, 1); 
artist.role.forEach (function (role){ 


redisClient.set('role-name:' + role, 1);，; 





下 一 个 代码 块 是 如 何 填 充 Neo4j。 创 建 了 一 个 驱动 程序 ， 它 是 本 书 中 代码 的 一 部 分 ， 
可 以 下 载 它 ， 命 名 为 neo4j caching client.js。 它 只 是 使 用 Node.js 的 HTTP 库 连 
接 到 Neo4j 的 REST 接口 ， 使 用 了 一 点 儿 内 置 的 限 速 ， 所 以 客户 端 不 会 一 次 打开 太 多 的 连 
接 。 驱 动 程序 还 用 Redis 记录 了 对 Neo4j 的 图 所 做 的 变更 ， 而 无 须 启动 一 个 单独 的 查询 。 
这 是 我 们 第 三 次 独立 使 用 Redis 一 一 第 一 次 是 数据 转换 ， 作 为 填充 CouchDB 的 步骤 ， 而 第 
二 次 是 我 们 刚刚 在 前 面 看 到 的 ， 快 速 搜索 乐队 


这 部 分 代码 创建 了 乐队 节点 (如果 需 要 创建 它们 ), 然后 是 艺术 家 节点 (如果 需要 创建 
它们 )， 然 后 是 角色 。 过 程 中 的 每 一 步 创建 了 一 个 新 的 关系 ， 因 此 Beatles 节点 将 与 John， 
Paul、George 和 Ringo 节点 相关 ， 这 些 节点 各 自 义 与 他 们 所 扮演 的 角色 相关 。 
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redis/graph sync.js 
function feedBandToNeo4j (band, progress) { 


var 


lookup = neo4jClient.lookupOrCreateNode, 


relate = neo4jClient.createRelationship; 


lookup('bands', 'name', band.name, function(bandNode) { 
progress.emit ('progress', 'band'); 
band.artists.forEach (function (artist) { 
lookup('artists', ‘'name', artist.name, function(artistNode)t{ 
progress.emit ('progress', ‘artist'); 
relate (bandNode.self, artistNode.self, ‘member', function()f{ 
progress.emit ('progress', ‘member'); 
}); 
artist.role.forEach (function (role){ 
lookup('roles', 'role', role, function (roleNode){ 
progress.emit ('progress', ‘role'); 
relate(artistNode.self, roleNode.self, 'plays', function()!{ 


progress.emit ('progress', ‘plays'); 

















让 这 个 服务 运行 在 它 自己 的 窗口 。 每 次 对 CouchDB 的 更 新 ， 增 加 了 一 个 新 的 艺术 家 ， 
或 为 原 有 的 艺术 家 新 增 一 个 角色 ， 都 将 触发 生成 Neo4j 中 的 新 关系 ， 也 可 能 生成 Redis 中 
的 新 键 。 只 要 这 个 服务 在 运行 ， 它 们 就 应 该 是 同步 的 。 
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打开 CouchDB Web 控制 台 ， 并 打开 一 个 乐队 。 对 数据 库 做 出 你 希望 的 任意 数据 变更 : 
添加 一 个 新 的 乐队 成 员 《〈 使 你 自己 成 为 披 头 士 乐 队 的 成 员 !)， 或 者 为 艺术 家 添加 一 个 新 的 
角色 。 注 意 graph_sync 的 输出 。 然 后 启动 Neo4j 的 控制 台 ， 尝 试 寻找 图 中 任何 新 的 连接 。 
如 果 你 添加 了 一 个 新 的 乐队 成 员 ， 现 在 应 该 有 一 个 到 乐队 节点 的 关系 ， 如 果 修 改 ， 就 会 有 
到 新 角色 的 关系 。 当 前 的 实现 不 会 删除 关系 一 尽管 不 在 脚本 中 添加 Neo4j 的 DELETE 操 
作 就 不 是 完整 的 修改 。 





































































































8.4.4 服务 











我 们 终于 已 经 到 了 这 一 部 分 。 我 们 将 创建 一 个 简单 的 Web 应 用 程序 ， 人 允许 用 户 搜索 一 
个 乐队 。 系 统 中 的 任何 乐队 将 以 链接 形式 列 出 所 有 的 乐队 成 员 ， 而 点 击 任何 乐队 成 员 链 接 
将 列 出 一 些 有 关 该 艺术 家 的 信息 一 一 即 他 们 所 扮演 的 角色 。 此 外 ， 艺 术 家 所 扮演 的 每 个 角 
色 将 列 出 系统 中 所 有 其 他 也 扮演 过 该 角色 的 艺术 家 。 

例如 ， 搜 索 Led Zeppelin 会 给 出 Jimmy Page、John Paul Jones、John Bonham 和 Robert 


Plant。 点 击 immy Page 将 列 出 他 弹 吉他 以 及 很 多 其 他 弹 吉 他 的 艺术 家 ， 如 U2 乐队 中 的 
The Edge。 

























































































为 了 让 Web 应 用 程序 简单 ， 需 要 两 个 其 他 的 node 程序 包 : bricks (一 个 简单 的 web 框 
架 ) 和 mustache (一 个 模板 库 )。 























$ npm install bricks mustache 


























和 前 几 节 一 样 ， 确 保 你 所 有 的 数据 库 在 运行 ， 然 后 启动 服务 器 。 下 载 并 运行 以 下 代码 : 























$ node band.js 


服务 器 设置 在 8080 端口 上 运行 ， 因 此 ， 如 果 你 将 浏览 器 指向 http://localhost: 
8080/， 你 应 该 看 到 一 个 简单 的 搜索 表单 。 


我 们 来 看 看 代码 ， 它 将 建立 一 个 网 页 ， 列 出 乐队 的 信息 。 每 个 URL 执行 在 小 型 HTTP 
服务 器 中 的 一 个 单独 的 函数 。 首 先是 nttp://localhost:8080/pband， 接 受 任何 乐 队 
的 名 字 作 为 参数 。 



















































































redis/bands.js 
appServer.addRoute("“^/bands", function(req, res) { 
var 
bandName = req.param('name'), 
bandNodePath = '/bands/' + couchUtil.couchKeyify( bandName )， 


membersQuery = 'g.vi[lname:"'+bandNamet+"'"]]'" 
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+ '.out("member").in("member").uniqueObject.name'; 
getCouchDoc( bandNodePath, res, function( couchobj ) { 


gremlin( membersQuery, function(graphData) { 


var artists = Couchobj && couchObj['artists']; 


Var values = { band: bandName, artists: artists, bands: graphData }; 
Var body = '<h2>{{band}} Bana Members</h2>'; 

body += '<ul>{{#artists}}'; 

body += '<1li><a href="/artist?name={{name}}">{{name}}</a></1i>'; 
body += '{{/artists}}</ul>'; 

body += '<h3>You may also like</h3>'; 

body += '<ul>{{#bands}}'; 

body += '<1i><a href="/band?name={{.}}">{{.}}</a></1i>'; 

body += '{{/bands}}</ul>'; 








writeTemplate( res, body, values ); 














如 果 你 在 搜索 表单 中 输入 乐队 Nirvana， 你 的 URL 请 求 将 是 http://localhost: 
8080/band?name=Nirvana。 该 函数 将 生成 一 个 HTML 页 面 〈 整 体 模板 在 一 个 外 部 文 
件 中 ， 名 为 template.html)。 此 网 页 列 出 了 一 个 乐队 中 的 所 有 艺术 家 ， 它 直接 从 
CouchDB 抽取 数据 。 它 还 列 出 了 一 些 建议 的 乐队 ， 是 对 Neo4j 图 做 Gremlin 查询 得 到 的 。 
对 于 Nirvana，Gremlin 查询 是 : 






























































g.V.filter{it.name=="Nirvana"}.out ("member") .in("member") .dedup.name 





换言之 ， 从 Nirvana 节点 出 发 ， 得 到 所 有 唯一 的 名 字 ， 它 们 的 成 员 连 到 Nirvana 成 员 。 
例如 ，Dave Grohl 既 在 Nirvana 乐队 ， 也 在 Foo Fighters， 所 以 Foo Fighters 将 在 此 列表 中 
返回 。 


下 一 个 动作 是 URL http://localhost:8080/artist。 该 网 页 将 输出 关于 一 个 艺 
术 家 的 信息 。 








[ 














redis/bands.js 


appServer.addRoute("“^/artist$", functionl(req, res) { 


var 
artistName = req.param('name'), 
rolesQuery = 'g.Vv/[[name:"'+tartistName+'"]].out("plays").role.uniqueObject', 
bandsQuery = 'g.V/i[name:"'+tartistName+'"]].in("member").name.uniqueObject'; 


gremlin( rolesQuery, function(roles) { 


gremlin( bandsQuery, function(bands) { 
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var values = { artist: artistName, roles: roles, bands: bands }; 
Var body = '<h3>{{artist}} Performs these Roles</h3>'; 

body += '<ul>{{#roles}}'; 

body += "<1i>{{.}}</1i>'; 

body += '{{/roles}j}</ul>'; 

body += '<h3>Play in Bands</h3>'; 

body += '<ul>{{#bands}}'; 

body += '<1i><a href="/band?name={{.}}">{{.}}</a></1i>'; 

body += '{{/bands}}</ul>'; 

writeTemplate( res, body, values ); 











这 里 执行 了 两 个 Gremlins 查询 。 首 先 输出 一 个 成 员 承 担 的 所 有 和 角色， 其 次 是 一 个 艺术 
家 所 在 的 乐队 的 列表 。 例 如 ，Jeff Ward (http://localhost:8080/ artist?name= 
Jeff%20Ward) 将 作为 鼓手 ， 列 在 Nine Inch Nails 和 Ministry 乐队 中 。 


前 两 页 有 一 个 很 酷 的 功能 :我 们 展现 了 这 些 值 之 间 的 联系 。/bangds 页 中 列 出 的 艺术 
家 链接 到 选 定 的 /artist 页 ， 反 之 亦 然 。 但 我 们 可 以 让 搜索 更 容易 一 些 。 
























































redis/bands.js 
appServer.addRoute("^/searchs", functionl(req, res) { 


var query = req.param('term'); 


redisClient.keys ("band-name:"+tquery+"*", function(error, keys) { 
var bands = []; 
keys.forEach (function (key){ 
bands.push (key.replace ("band-name:", "'')); 
}); 
res.write( JSON.stringify(bands) ); 


res.end(); 
































如 前 面 所 述 ， 这 里 只 是 从 Redis 中 抽取 匹配 字符 串 第 一 部 分 的 所 有 键 ， 如 前 面 描述 的 
"Bea*"。 然 后 以 JSON 格式 输出 数据 。template.html 文件 链接 到 必要 的 jQuery 代码 ， 
使 这 个 功能 成 为 生成 的 搜索 框 上 的 输入 自动 补 全 功能 。 

扩展 该 服务 

对 于 这 里 的 所 有 主要 工作 来 说 ， 这 是 一 个 相当 小 的 脚本 。 你 可 能 会 发 现 很 多 地 方 你 想 
扩展 。 请 注意 ， 乐 队 推 荐 的 只 是 一 阶 乐队 (目前 成 员 曾 演出 过 的 乐队 ); 可 以 编写 一 个 查询 
遍历 二 阶 乐 队 ， 得 到 有 趣 的 结果 ， 像 这 样 : g.V.filter{it.name=='Nine Inch 


Nails'}.out ('member') .in('member') .dedup.loop(3){ it.loops <= 
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2 } .name。 


你 可 能 还 注意 到 ， 我 们 没有 一 个 可 以 更 新 乐队 信息 的 表单 。 添 加 该 功能 相当 简 
单 ， 因为 我 们 已 经 在 populate couch.js 脚本 中 写 了 CouchDB 的 数据 填充 代码 ， 
只 要 graph_ sync.js 服务 在 运行 , 填充 CouchDB 会 自动 保持 Neo4j 与 Redis 的 最 
终 一 致 。 


如 果 你 喜欢 这 种 多 持久 共存 ， 其 至 可 以 更 进一步 。 可 以 添加 一 个 PostgreSQL 数 据 仓库 ，， 
转化 数据 为 星 型 模式 一 一 允许 不 同 维度 的 分 析 ， 如 最 常用 的 演奏 乐器 或 一 个 乐队 中 成 员 总 
数 对 总 乐器 的 平均 数 。 可 以 添加 一 个 Riak 服 务 器 存储 乐队 音乐 的 样品 ， 添 加 一 个 HBase 服 
务 器 以 构建 一 个 消息 系统 , 其 中 用 户 可 以 保存 其 喜欢 /不 喜欢 的 历史 ; 或 添加 一 个 MongoDB 
扩展 ， 为 这 项 服务 添加 地 理 元 素 。 


或 者 ， 使 用 完全 不 同 的 语言 、Web 框架 或 数据 集 ， 重 新 设计 这 个 项 目 。 数 据 库 和 创建 
它 的 技术 有 多 少 种 组 合 ， 就 有 多 少 扩展 这 个 项 目的 机 会 : 所 有 开源 技术 的 箭 卡 尔 乘积 。 



























































































































































8.4.5 第 3 天 总 结 











今天 起 一 个 天 壬 于 事实 上 ， 很 大 ， 如 果 它 花 了 好 几 天 才能 完成 ， 我 们 将 不 会 
感到 惊讶 。 但 是 ， 这 里 有 点 未 来 数据 管理 系统 的 味道 ， 因 为 世界 正在 远离 一 个 大 型 关 
系数 据 库 的 模型 ， 转 向 几 个 专门 数据 库 的 模型 。 我 们 还 用 一 些 非 阻 塞 的 代码 将 这 些 数 
据 库 联 接 在 一 起 ， 虽 然 这 不 是 这 本 书 的 重点 ， 但 似乎 也 是 数据 库 交 互 在 开发 领域 的 发 
展 方 向 。 

在 这 个 模型 中 ，Redis 的 重要 性 不 容 忽视 。Redis 提供 的 功能 这 些 数据 库 肯 定 都 能 独 
提供 , 但 它 确实 提供 了 快速 的 数据 结构 。 我 们 能 够 将 一 个 平面 文件 组 织 成 一 系列 有 意 
义 的 数据 结构 ,这 是 数据 填充 和 转移 中 不 可 分 割 的 一 部 分 。 它 做 这 件 事 的 方法 既 快速 又 
易 用 。 即 使 你 还 不 能 接受 多 持久 共存 的 模型 ， 你 也 肯定 应 该 在 所 有 系统 中 考虑 采用 
Redis。 

第 3 天 作业 

实践 


1. 改变 导入 步骤 ， 同 时 记录 一 个 乐队 成 员 与 乐队 的 开始 和 结束 日 期 。 在 去 术 家 的 
CouchDB 的 子 文档 中 记录 该 数据 。 在 艺术 家 的 页 面 上 显示 此 信息 。 








































































































































































































! http://en.wikipedia.org/wiki/Data_warehouse 
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2. 在 组 合 中 添加 MongoDB， 将 一 些 音乐 样本 存 入 GridFS， 其 中 用 户 可 以 听 一 两 首 与 
乐队 相关 的 歌曲 。 如 果 一 个 乐队 有 歌曲 存在 ， 就 在 Web 应 用 程序 上 添加 链接 。 确 
保 Riak 数据 与 CouchDB 保持 同步 。 















































8.5 总结 


性 ED 





Redis 的 键 - 值 对 《或 数据 结构 ) 存储 是 轻 量 级 和 紧凑 的 ， 上 共有 多 种 用 途 。 这 类 似 于 瑞 
士 军刀 , 有 小 刀 、 开 饶 器 、 螺 丝锥 ， 及 其 他 各 种 工具 一 一 Redis 很 适合 完成 各 种 奇怪 的 任务 。 
总 之 ，Redis 快速 、 简 便 ， 其 持久 性 取决 于 你 的 选择 。 虽 然 它 不 是 一 个 独立 的 数据 库 ， 但 
Redis 是 所 有 多 持久 并 存 生态 系统 的 完美 补充 , 可 以 作为 一 个 永远 存在 的 帮手 , 用 于 转换 数 
据 、 缓 存 请 求 ， 或 通过 它 的 阻塞 命令 方式 来 管理 消息 。 














































































































8.5.1 Redis 的 优点 

















像 许 多 同类 的 键 值 对 存储 库 一 样 ，Redis 的 明显 优势 是 速度 快 。 但 与 大 多 数 键 - 值 对 存 
储 库 不 同 的 是 ，Redis 提供 存储 复杂 值 的 能 力 ， 如 列表 、 哈 希 表 和 集合 ， 并 基于 这 些 数 据 类 
型 上 的 特定 操作 来 获取 数据 。 但 是 ，Redis 不 只 是 数据 结构 存储 库 ， 它 的 持久 性 选项 允许 你 
为 了 数据 安全 性 而 牺牲 速度 ， 这 到 了 相当 细致 的 程度 。 内 置 的 主 从 复制 机 制 提供 了 另 一 种 
很 好 的 方式 ， 来 确保 更 好 的 持久 性 ， 而 无 须 放 慢 速 度 ， 在 每 次 操作 时 同步 磁盘 上 的 仅 追 加 
文件 。 此 外 ， 复 制 机 制 对 于 大 量 读 取 的 系统 是 很 好 的 。 









































































































































8.5.2 ”Redis 的 缺点 














Redis 很 快 ， 在 很 大 程度 上 是 因为 它 斑 留 在 内 存 中 。 有 些 人 可 能 会 认为 这 是 作 次 ， 因 
为 从 来 不 接触 磁盘 的 数据 库 肯 定 很 快 。 内 存 数据 库 有 一 个 固有 的 持久 性 问题 ， 如 果 你 在 快 
照发 生 之 前 关闭 数据 库 ， 你 可 能 会 丢失 数据 。 即 使 你 设置 在 每 个 操作 时 都 同步 磁盘 上 的 仅 
追加 文件 ， 你 也 冒 着 回放 过 期 值 的 风险 ， 因 为 基于 时 间 的 事件 永远 不 会 以 完全 同样 的 方式 
重 放 一 一 虽然 公平 地 说 ， 这 种 情况 是 假设 多 于 实际 。 

Redis 也 不 会 支持 比 你 的 可 用 内 存 更 大 的 数据 集 (Redis 将 不 支持 虚拟 内 存 )， 所 以 它 
的 大 小 有 实际 限制 。 目 前 虽然 正在 开发 一 个 Redis 集群 ， 目 标 是 超过 单机 的 RAM 限制 ， 
日 现在 想 用 Redis 集群 的 人 必须 自己 处 理 , 使 用 支持 它 的 客户 端 ( 像 我 们 在 第 2 天 使 用 过 
的 Ruby 驱动 程序 )。 
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8.5.3 结束语 




















Redis 中 有 大 量 命令 一 一 120 多 条 。 大 多 数 命 令 简 单 易 懂 ， 名 符 其 实 ， 只 要 你 习惯 理解 
看 似 随 意 省 略 的 字母 〈 例 如 ，INCRBY)， 并 理解 数学 的 精确 性 有 时 更 令 人 疑惑 而 不 是 有 帮 
助 (例如 ，zZCOUNT 表示 有 序 集合 计数 ，SCARD 表示 集合 基数 )。 

Redis 已 经 成 为 许多 系统 的 组 成 部 分 。 一些 开源 项 目 依赖 于 Redis, 如 Resque 是 一 个 基 


于 Ruby 的 异步 工作 排队 服务 ， 又 如 Node.js 的 会 话 管理 项 目 SocketStream。 无 论 选择 何 种 
数据 库 作 为 你 的 SOR 记录 系 统 )， 当 然 都 应 该 在 这 个 组 合 中 添加 Redis。 
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结束 语 


现在 ， 我们 已 经 介绍 完了 7 种 数据 库 ， 祝 贺 大 家 ! 
我 们 希望 你 已 经 了 解 了 这 7 种 数据 库 。 如 果 你 在 项 目 中 使 用 某 一 种 数据 库 ， 我 们 会 很 


疝 闪 














兴 。 如 果 你 决定 使 
我 们 相信 ， 数 据 管理 

















的 未 来 在 于 多 持久 3 











用 多 种 数据 库 ， 就 像 我 们 在 第 8 章 的 结尾 看 到 的 ， 我 们 会 欣喜 若 狂 。 


























通用 RDBMS 世界 观 的 迷 和 雾 将 随 风 飘 逝 。 














存 模型 〈 在 一 个 项 目 中 使 用 多 种 数据 库 ) 一 一 而 




















我 们 借 此 机 会 看 一 看 ， 所 介绍 的 7 种 数据 库 在 更 大 的 数据 库 生 态 系统 中 如 何 结合 在 一 
起 。 从 这 一 点 来 说 ， 我 们 已 经 探索 了 每 一 种 数据 库 的 细节 ， 并 提 到 了 一 些 共 性 和 差异 。 
们 将 看 到 它们 如 何 为 宏大 的 、 正 在 扩展 的 全 部 数据 存储 可 选 方案 做 出 贡献 。 
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DA 2 


我 们 已 经 看 至 



































极 版 


1， 数 据 库 存储 数据 的 方式 可 以 主要 分 为 5 种 类 型 : 关系 型 、 键 - 值 型 、 列 






























































型 、 文 档 型 和 图 型 。 我 们 来 花 点 时 间 ， 























唱 








顾 一 下 它们 的 区 别 ， 看 看 每 种 风格 适合 什么 ， 不 








太 适 合 什么， 也 就 是 说 ， 什 么 情况 下 你 想 使 用 它们 ， 什 么 情况 下 想 避 免 它 们 。 


9.11 .关系 型 





这 是 最 常见 的 经 典 的 数据 库 模 式 。 关 系数 据 库 管理 系统 (RDBMS )， 是 基于 集合 理论 的 




















系统 ， 实 现 方式 是 

















有 


























行 和 列 的 二 维 表 。 关 系数 据 库 严 格 强制 使 用 类 型 ， 一 般 分 为 数值 、 字 符 
串 、 日 期 和 未 解释 的 二 进 制 大 对 象 ， 但 我 们 看 到 PostgreSQL 提供 了 一 些 扩展 ， 如 数组 和 cube。 
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因为 关系 数据 库 的 结构 性 质 ， 如 果 提 前 知道 数据 的 布局 ， 但 是 可 能 不 清楚 随后 你 打 
算 如 何 使 用 这 些 数据 ， 那 么 关系 型 数据 库 是 合适 的 。 或 者 ， 换 名 话说 ， 你 提前 为 组 织 的 

杂 性 付出 代价 ， 以 实现 随后 的 查询 灵活 性 。 许 多 业务 问题 正好 是 以 这 种 方式 建 模 的 ， 
从 接 单 到 出 货 以 及 库存 到 购物 车 。 你 可 能 事先 不 知道 以 后 将 如 何 查询 数据 《〈 例 如， 我 们 
在 2 月 份 处 理 了 多 少 订单 ? ), 但 数据 在 本 质 上 是 相当 规范 的 ， 所 以 强制 这 种 规范 性 是 很 
有 帮助 的 。 































































































2. 不 那么 适合 








如 果 你 的 数据 是 高 度 可 变 的 或 者 多 层次 的 ， 那 么 关系 数据 库 不 是 最 合适 。 因 为 你 必须 
提前 指定 模式 ， 所 以 ， 处 理 记录 与 记录 之 间 有 很 大 变化 的 数据 问题 将 遇 到 麻烦 。 假 设 考虑 
开发 一 个 数据 库 来 描述 所 有 自然 界 中 的 生物 。 创 建 你 需要 考虑 到 的 所 有 特征 的 完整 列表 
(hasHair、numLegs、laysEggs 等 ) 会 很 棘手 。 在 这 种 情况 下 ， 你 选择 的 数据 库 最 好 对 可 能 
的 输入 有 较 少 的 预先 限制 。 

























































































9.1.2 ” 键 - 值 存储 库 

















键 - 值 (KV) 存储 库 是 我 们 介绍 过 的 最 简单 的 模型 。KV 将 简单 的 键 映射 到 (可 能 ) 更 
复杂 的 值 ， 就 像 一 个 巨大 的 哈 希 表 。 由 于 它们 相对 简单 ， 因 此 这 种 类 型 的 数据 库 实 现 起 来 
最 灵活 。 哈 希 查 找 速度 快 ， 在 Redis 的 例子 中 就 是 这 样 ， 速 度 是 其 主要 的 关注 。 哈 希 查找 
也 容易 分 布 化 ， 所 以 Riak 利用 这 一 事实 ， 侧 重 于 简单 管理 的 集群 。 当 然 ， 它 的 简单 性 可 能 
对 有 复杂 的 建 模 需求 的 数据 是 个 缺点 。 
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由 于 很 少 或 不 需要 维护 索引 ， 键 - 值 存储 库 往往 具有 横向 的 可 扩展 性 ， 速 度 极 快 ,或 两 
者 兼 而 有 之 。 它 们 特别 适合 于 数据 相关 性 不 高 的 问题 。 例 如 ， 在 Web 应 用 中 ， 用 户 的 会 话 
数据 满足 这 个 标准 ， 每 个 用 户 的 会 话 活动 会 有 所 不 同 ， 并 且 大 部 分 是 与 其 他 用 户 的 活动 无 
关 的 。 



















































































2. 不 那么 适合 








往往 缺乏 索引 和 扫描 功能 , 如 果 你 需要 能 够 执行 数据 查询 , 除了 基本 的 CRUD 操作 ( 创 


建 、 读 取 、 更 新 、 删 除 ) 以 外 ，KV 存储 库 的 帮助 不 大 。 
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9.1.3” 列 型 


列 型 数据 库 《〈 又 称 面向 列 的 数据 库 ， 或 列 系列 ) 与 KV 和 RDBMS 存储 有 许多 的 相似 
之 处 。 像 键 - 值 存储 库 一 样 ， 值 的 查询 通过 匹配 键 完 成 。 类 似 于 关系 数据 库 ， 把 它们 的 值 分 
组 为 零 或 多 列 ， 但 是 每 一 行 可 以 填充 任意 多 的 数据 。 不 同 于 前 两 个 数据 库 ， 列 型 数据 库 按 
列 存 储 类 似 的 数据 ， 而 不 是 按 行 存储 数据 。 列 的 添加 很 容易 ， 版 本 控制 是 小 菜 一 碟 ， 并 且 
对 于 空 值 没有 存储 成 本 。 我 们 看 到 了 HBase 是 对 这 一 类 型 的 经 典 实现 。 








































































































1. 适合 

















传统 上 ， 横 向 扩展 作为 列 型 数据 库 开发 的 一 个 主要 的 设计 目标 。 正 因为 如 此 ， 它 们 特 
别 适 合 于 在 几 十 、 几 百 或 几 千 个 节点 的 集群 上 的 “大 数据 ”问题 。 它 们 也 往往 内 置 支持 如 
压缩 和 版 本 控制 的 功能 。 一 个 良好 的 列 型 数据 存储 问题 的 典型 例子 是 索引 网 页 。 网 页 上 有 
大 量 的 文本 〈 好 处 来 自 于 压缩 )， 在 某 种 程度 上 相互 关联 ， 并 随 着 时 间 变 化 〈 好 处 来 自 于 版 
本 控制 )。 



















































































2. 不 那么 适合 








不 同 的 列 型 数据 库 有 不 同 的 特点 ， 并 由 此 带 来 不 同 缺点 。 但 有 一 件 事 它们 是 相同 
的 ， 那 就 是 ， 最 好 基于 你 打算 如 何 查 询 数 据 ， 设 计 你 的 数据 库 模 式 。 这 意味 着， 你 应 
该 预先 对 如 何 使 用 数据 而 不 仅仅 是 数据 将 如 何 组 成 有 一 些 想法 。 所 以 ， 如 果 你 不 能 提 
前 定义 数据 的 使 用 模式 〈 例 如 ， 需 要 快速 的 自由 定义 的 报表 )， 那 么 列 型 数据 库 未 必 
是 最 合适 的 。 








































































































二 

















9.1.4 ”文档 型 


文档 型 数据 库 允 许 每 个 对 象 有 任意 数量 的 字段 ， 甚 至 允许 对 象 作为 值 以 任意 深度 嵌 套 
到 其 他 字段 中 。 这 些 对 象 通常 用 JavaScript 对 象 符号 (JSON ) 表示 , MongoDB 和 CouchDB 
都 是 这 样 ， 但 这 绝 不 是 一 个 概念 要 求 。 由 于 文档 型 数据 库 不 像 关 系数 据 库 那样 彼此 相关 ， 
它们 比较 容易 在 儿 个 服务 器 上 实现 分 片 和 复制 ， 这 使 得 分 布 式 实现 相当 普遍 。MongoHQ 
倾 各 于 文 持 建立 数据 中 心 , 管理 Web 上 庞大 的 数据 集 ， 从 而 解决 可 用 性 问题 。 而 CouchDB 
则 侧重 于 简单 耐用 ,可 用 性 是 通过 相当 自治 的 节点 的 主 - 主 复制 得 到 的 。 这 些 项 目 之 间 有 入 
高 的 重 辣 性 。 
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文档 数据 库 适 合 于 涉及 高 度 可 变 领 域 的 问题 。 当 你 事先 不 知道 你 的 数据 看 起 来 究竟 像 
什么 样子 ， 文 档 型 数据 库 是 一 个 不 错 的 选择 。 此 外 ， 由 于 文档 型 数据 库 的 性 质 ， 它 们 往往 
能 很 好 地 映射 到 面向 对 象 编程 模型 。 这 意味 着 在 数据 库 模 型 和 应 用 模型 之 间 移 动 数据 时 ， 
阻抗 性 不 匹配 的 情况 较 少 。 


















































2. 不 那么 适合 











如 果 你 习惯 于 在 高 度 规范 化 的 关系 数据 库 模 式 中 执行 复杂 的 联接 查询 ， 你 会 发 现 文档 
型 数据 库 的 功能 匮乏 。 文 档 型 数据 库 一 般 应 包含 大 部 分 或 全 部 正常 使 用 所 需 的 有 关 信 息 。 
因此 ， 在 一 个 关系 数据 库 中 ， 你 最 好 自然 地 规范 化 你 的 数据 ， 以 减少 或 消除 可 能 不 同步 的 
副本 ， 而 使 用 文档 型 数据 库 ， 非 规范 化 的 数据 是 常态 。 







































































9.1.5 图 




















图 数据 库 是 一 个 新 兴 的 数据 库 类 型 ， 更 侧重 于 自由 解释 数据 之 间 的 相互 关系 而 不 是 
实际 的 数据 值 。 作 为 我 们 的 开源 示例 ，Neo4 在 许多 社交 网 络 应 用 中 日 益 普 及 。 不 像 其 他 
数据 库 类 型 将 相似 的 对 象 划 为 共同 的 组 ， 图 数据 库 在 形式 上 更 自 1 查询 包含 两 个 节 
点 共享 的 边 ， 即 在 节点 之 间 移 动 。 随 着 越 来 越 多 的 项 目 使 用 它们 ， 图 数据 库 在 简单 的 社 
交 例 子 上 不 断 发展 ， 用 于 更 多 差异 细微 的 使 用 场景 ， 例 如 ， 推 荐 引擎 、 访 问 控制 列表 和 
地 理 数据 。 























































































































































































































1. 适合 





























图 数据 库 似乎 是 为 网 络 应 用 量 身 定做 的 。 典 型 的 例子 是 社交 网 络 ， 其 中 节点 代表 相互 之 
间 有 各 种 关系 的 用 户 。 使 用 任何 其 他 的 类 型 对 这 种 数据 建 模 ， 往 往 难 以 适应 ,但 图 数据 库 会 
欣然 接受 。 它 们 还 是 面向 对 象 系统 的 完美 匹配 。 如 果 可 以 在 白板 上 建 模 数 据 ， 就 可 以 在 图 中 
建 模 。 




































































2. 不 那么 适合 








由 于 节点 之 间 的 高 度 相 互 关 联 ， 因 此 图 数据 库 一 般 不 适合 网 络 分 区 。 因 为 图 的 快速 聆 取 
意味 着 你 不 能 与 其 他 数据 库 节 点 的 网 络 联接 ， 所 以 图 数据 库 不 能 很 好 地 向 外 扩展 。 可 能 的 情 
况 是 ， 如 果 你 使 用 图 数据 库 ， 它 会 是 一 个 较 大 系统 的 一 部 分 ， 大 容量 数据 存储 在 其 他 地 方 ， 
而 在 图 中 只 保存 关系 。 
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正如 我 们 在 开始 时 所 说 的 ， 数 据 是 新 的 石油 。 我 们 坐 在 一 片 数 据 的 汪洋 大 海 之 上 ， 它 
不 可 用 的 (一 个 更 露骨 的 比喻 是 , 现在 数据 中 有 很 多 钱 )， 直 到 把 它 提炼 为 信息 。 轻 松 收 
集 并 最 终 存 储 、 挖 据 、 提 炼 数据 ， 从 你 选择 的 数据 库 开 始 。 


对 于 给 定 的 领域 数据 ， 决 定 选择 哪个 数据 库 往往 比 仅 仅 考虑 哪个 数据 库 类 型 最 适合 更 
为 复杂 。 虽然 社交 图 谱 似 乎 显然 用 图 数据 库 最 好 ， 但 如 果 你 希望 用 于 Facebook, 数据 太 多 ， 
所 以 不 能 只 选择 一 个 。 你 更 可 能 会 选择 “大 数据 ”的 实现 ， 如 HBase 或 Riak。 这 将 迫使 你 
选择 一 个 列 型 数据 库 或 键 - 值 存储 库 。 在 其 他 情况 下 ,虽然 你 可 能 会 认为 关系 数据 库 显然 是 
银行 交易 的 最 好 选项 ， 但 要 了 解 的 是 ，Neo4 也 支持 ACID 事务 ， 这 样 就 扩大 你 的 选择 
范围 


这 些 例子 足以 指出 ， 在 选择 哪个 数据 库 或 哪些 数据 库 最 好 地 服务 于 你 的 问题 领域 时 ， 

要 考虑 的 不 仅 是 数据 库 的 类 型 。 作 为 一 般 规则 ， 当 数据 的 大 小 增加 ， 特 定数 据 库 类 型 的 容 
量 减 小 了 。 面 向 列 的 数据 存储 实现 往往 用 于 建立 为 跨 数据 中 心 ， 并 支持 最 大 的 “大 数据 ” 
集合 ， 而 图 一 般 支 持 最 小 的 集合 。 但 是 ,情况 并 非 总 是 如 此 。Riak 是 一 个 大 型 的 键 - 值 存储 
库 ， 用 于 跨越 成 百 上 千 个 节点 的 分 片 数据 ， 而 Redis 的 设计 目标 是 运行 在 一 个 节点 上 ， 可 
能 有 几 个 主 从 复制 或 客户 端 管理 的 分 片 。 

在 选择 数据 库 时 ， 还 有 几 个 方面 需要 考虑 ， 如 耐用 性 、 可 用 性 、 一 致 性 、 可 扩 
展 性 和 安全 性 等 。 你 必须 决定 自由 定义 的 查询 是 否 重 要 ， 是 否 mapreduce 就 够 了 。 
尔 是 否 倾 各 于 使 用 HTTP/REST 接口 ， 或 者 你 是 否 愿意 需要 一 个 自 定 义 的 二 进 制 协 
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粮 并 

















































































































































































































































































































































































































议 的 驱动 程序 ? 甚至 更 小 范围 的 关注 可 能 对 你 也 很 重要 ， 如 是 否 存在 大 量 数 据 加 载 
工具 。 

为 了 简化 这 些 数据 库 之 间 的 比较 ， 我 们 创建 了 一 个 表 ， 即 附录 A。 该 表 并 不 是 一 个 详 
尽 的 功能 列表 。 相 反 ， 它 是 一 个 工具 ， 迅 速 比 较 那 些 我 们 已 经 介绍 过 的 数据 库 。 请 注意 每 
个 数据 库 的 版 本 。 这 些 功 能 在 有 电眼 间 就 会 变化 ， 所 以 我 们 强烈 建议 对 于 更 新 的 版 本 ， 要 慎 
重 检查 这 些 值 。 


9.3 ”我 们 将 走向 哪里 
































现代 应 用 的 伸缩 性 问题 ， 现 在 主要 是 在 数据 管理 的 领域 。 我 们 已 经 达到 了 应 用 程 请 
演化 的 一 个 点 ， 其 中 编程 语言 、 框 架 和 操作 系统 的 选择 正 变 得 非常 便宜 和 容易 ， 甚 至 是 
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硬件 和 运营 业务 (多 方 虚拟 主机 和 “ 云 ”) 也 是 如 此 。 这 些 选 择 基本 上 变 成 了 小 问题 ， 既 
是 必须 ， 也 是 某 种 偏好 。 如 果 你 想 在 这 个 时 代 让 你 的 应 用 可 伸缩 ， 就 应 该 考虑 选择 哪个 
数据 库 或 哪些 数据 库 ， 它 很 可 能 是 你 真正 的 瓶 诺 。 本 书 的 主要 目的 ， 就 是 帮助 你 正确 地 
做 出 这 种 选择 。 


虽然 本 书 即将 结束 ， 但 我 们 相信 它 已 激 起 了 你 对 多 持久 并 存 的 兴趣 。 接 下 来 是 仔细 在 
究 引 起 你 兴趣 的 数据 库 ， 或 者 继续 学 习 其 他 选择 ， 如 Cassandra、Drizzle 或 OrientDB。 


开始 动手 吧 。 
















































































附录 A 








数据 库 概述 表 


本 书包 含 了 7 种 数据 库 的 大 量 信 息 : PostgreSQL、 Riak、HBase、MongoDB、CouchDB、 


















































































































































































































































Neo4j 和 Redis。 接 下 来 ， 你 会 看 到 两 个 表 ， 记 录 了 这 些 数据 的 一 些 方面 ， 展示 了 本 书 详细 
介绍 的 内 容 的 概要 。 虽 然 这 些 表 不 能 蔡 代 真正 的 理解 ， 但 能 提供 一 种 粗略 的 感觉 ， 让 你 了 
解 各 种 数据 库 的 优势 和 不 足 ， 以 及 在 现代 数据 库 全 景 图 中 的 位 置 。 
MongoDB | CouchDB Riak Redis PostgreSQL Neo4] HBase 

类 型 文档 文档 键 - 什 键 - 值 关系 图 列 

版 本 2.0 1.1 1.0 2.4 9.1 1.7 0.90.3 

而 AN 而 , 日 用 
数据 类 型 ”| 有 类 型 ”| 有 类 型 。 ”|Blob ,| | | 
it 定义 的 NN 定义 的 
i 页 

数据 关系 ”| 无 无 (链接 ) 无 预定 义 ( 边 ) 无 

标准 对 象 ”|JSON JSON 文本 字符 串 表 丛 希 列 

编写 语言 “| C++ Erlang Erlang C/C++ C Java Java 

er TCP 上 自 定 HTTP、 TCP 上 的 简 |TCP 上 自 定 Thrift、 

并 口 协 议 义 于 protbuf 单 文本 义 HI HTTP 
HTTP/REST | 简单 是 是 否 否 是 是 

下 “通过 
二 级 索引 “| 是 是 是 否 是 和 | 是 
Lucene ) 
版 本 化 个 是 是 否 否 否 是 
Bulk Load |mongoimport os Eee 合 个 COPY 命令 | 否 否 









































































































































































































































































































































































































































306 ”附录 人 A 数据 库 概 述 表 
MongoDB | CouchDB Riak Redis PostereSQL Neo4j HBase 
ee 本 
车 大 的 文 | GridFs 附件 人 已 章 | 无 BLOB 无 无 
6 命令 避 9 和 村、 上 
查询 人 es 临时 视图 人 命令 SQE Cyphers 挤 | 师 
ee 索 
AL 在 
JavaScript、 开 全 和 
mapreduce |JavaScript | JavaScript jt 元 局 式 的 情况 Hadoop 
数据 中 心 ee ee eh ps 
, SS 机 集群 (通过 | 集群 (通过 | 集群 (通过 | ， 

缩 性 心 “| (通过 P| Na 必 据 中 心 
伸缩 性 数据 中 a 数据 中 主 -从 ) -此 扩展) | HA) 数据 中 心 
， 写 前 日 志 ， ,wn | 写 入 法 定数 | 仅 追 加 的 Pe 
耐久 性 安全 模式 只 在 骨 溃 时 则 耐久 让 ACID ACID 写 前 日 志 

请 求 压缩 合 文件 重 写 合 快照 否 盏 盏 
ye 主 -从 (通过 | 、 、 基于 对 等 、 | 、 x 主 - 从 在 企 
御 -证 
复制 制 集 主 2 主 -从 主 -从 业 版 中 ) 主 -从 
是 (通过 
加 站 人 备件 《如 客 | 扩展 “如 | 去 是 ， 通 过 
re 户 端 ) PL/Proxy) HDFS 
的 过 滤器 ) 惠 
RN Ny 无 锁 芯 R tt A 
并 发 写 锁 CQ | 向 量 镇。 | 天 表 / 行 写 锁 “| 写 后 每 行 一 至 
事务 无 党 多 操作 队列 | ACID |AcD | 着 
伺 发 品 更 新 验证 或 | js 事务 事件 处 
出 发 器 无 改变 API 提交 前 后 “| 无 是 理 程序 天 
Kerberos, 通 
安全 性 用 户 用 户 无 口令 用 户 / 群 无 过 Hadoop 
的 安全 性 
-主机 多 实 
人 是 否 否 是 否 否 
A a 最 好 也 见 模 非常 
_ 穴 易 查 从 的 、 ee | 最 好 的 OSS | 规 
主要 区 别 。 | 数据 全 | 大 入 的 2 | 高 可 用 性 。 | 非常 非常 块 |RDBMS 模 | 灵活 的 图 | 大 ，Hadoop 
的 型 基础 设施 
人 ey | 和 分 布 式 可 用 |BLOB 或 TB | 灵活 增长 ， 
by 已 查询 能 在 加 区 9 sy y 2 
E: 插入 能 力 查询 能 力 查询 能 复杂 数据 性 级 数据 查询 能 力 





























附录 B 











理解 5 种 数据 库 类 型 是 一 个 重要 的 选择 标准 ， 但 并 不 是 唯 





















































CAP 定理 


E。 在 本 书 中 另 一 个 





反复 出 现 的 主题 是 CAP 定理 ， 它 揭示 了 一 个 令 人 不 安 的 事实 ， 即 面 对 网 络 的 不 稳定 性 ， 分 














布 式 数据 库 系 统 如 何 表现 。 


CAP 证 明了 ， 可 以 创建 一 个 分 布 式 数据 库 ， 它 是 一 致 的 〈《 写 入 是 原子 的 而 ] 
请 求 检 索 出 新 的 值 )， 可 用 的 《只 要 一 台 服 务 器 在 运行 ， 数 据 库 将 灵 



























































容错 的 〈 即 使 服务 器 的 通信 和 暂时 中 断 了 ， 系 统 仍 将 运行 
能 同时 拥有 以 上 特性 中 的 两 个 。 




































































是 所 有 后 续 








返回 值 )， 或 者 分 区 
那 就 是 ， 网 络 分 区 )， 但 是 你 只 

















换 名 话说 ， 可 以 创建 一 个 分 布 式 数据 库 系 统 ， 它 是 一 致 的 和 分 区 容错 的 ， 系 统 是 可 


用 的 和 分 区 容错 的 ， 或 系统 是 一 致 的 和 可 用 的 (但 不 是 分 





区 容错 的 ， 这 基本 




















是 分 布 的 )。 但 是 不 可 能 包 
普 的 
日 的 。 


Ee 











CAP 定理 在 考虑 一 个 分 布 式 数据 库 时 是 有 用 的 ， 因 为 你 必须 决定 你 愿意 放弃 什么 。 必 
选择 的 数据 库 将 失去 可 用 性 或 一 致 性 。 分 区 容错 是 严格 意义 上 的 架构 决策 〈 数 据 库 是 否 是 
分 布 的 )。 重 要 的 是 要 了 解 CAP 定理 以 充分 把 握 你 的 选择 。 在 本 书 



















































































在 很 大 程度 上 受 CAP 定理 影响 。 











B.1 最 终 一 致 性 


分 布 式 数据 库 必须 是 分 区 容错 的 , 所 以 在 可 用 性 和 一 致 怕 




















建 一 个 分 布 式 数据 库 ， 它 是 一 致 的 、 可 月 

















上 意味 着 不 





的 ， 同 时 也 是 分 区 容 


人 











对 数据 库 实现 的 取 全 












































住 。 然 而 , CAP 


指出 ， 如 果 你 选择 了 可 用 性 ， 你 就 不 能 拥有 真正 的 一 致 性 ， 你 仍然 可 以 提供 最 终 一 致 性 。 
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CAP 冒险 ， 第 一 部 分 : CAP 
将 世界 想象 为 一 个 巨大 的 分 布 式 数据 库 系 统 。 在 世界 上 的 所 有 陆地 上 包含 关于 某 些 主 
题 的 信息 ， 只 要 你 在 人 或 技术 的 附近 ， 你 可 以 找到 你 问题 的 答案 。 


现在 ， 为 了 论证 ， 想 象 你 是 碧 郧 丝 . 诺尔 斯 (Beyonce Knowles ) 的 一 个 铁杆 粉丝 ， 而 
日 期 是 2006 年 9 月 5 日 .突然 , 在 你 朋友 的 海滨 别墅 庆祝 怕 昂 丝 第 二 张 录音 专辑 发 行 
的 聚会 上 ， 一 个 奇怪 的 波浪 席卷 了 码头 ， 并 把 你 拖 到 了 海里 。 你 做 了 一 个 临时 的 入 子 
并 在 几 天 后 被 冲 到 了 一 个 荒 岛 上 。 没有 任何 的 通信 手段 ， 你 实际 上 与 系统 (整个 世界 ) 
的 其 他 部 分 隔离 开 来 。 在 那里 你 等 了 长 长 的 五 年 …… 


在 2011 年 的 一 个 早晨 ， 你 被 来 自 海 上 的 喊 声 惊醒 。 一 位 富有 经 验 的 纵 帆 船 老 船 长 发 现 
了 你 ! 在 你 单独 一 人 五 年 之 后 ， 船 长 弯 腰 大 声 问 道 : “和 碧 昂 丝 有 多 少 张 录音 专辑 ? ” 


你 现在 要 作 一 个 决定 。 你 可 以 用 你 所 拥有 的 最 近 (现在 是 五 年 前 ) 的 值 回答 这 个 问题 。 
如 果 你 回答 他 的 问题 ， 你 是 可 用 的 。 或 者 ， 你 可 以 拒绝 回答 这 个 问题 ， 因 为 你 知道 你 
被 隔离 了 ， 你 的 回答 可 能 无 法 与 世界 其 他 地 方 保 持 一 致 。 船 长 不 会 得 到 回答 ， 但 世界 
的 状态 保持 了 一 致 ( 如 果 他 驾 船 回 家 ,他 就 可 以 得 到 正确 的 答案 )。 你 作为 被 查询 的 节 
点 ， 可 以 帮助 保持 世界 数据 的 一 致 或 可 用 ， 但 不 能 同时 两 者 兼备 。 


最 终 一 致 性 背后 的 思想 是 ， 每 个 节点 始终 可 用 于 服务 请 求 。 作 为 一 个 权衡 ， 数 据 修改 在 

















后 台 被 传播 到 其 他 节点 。 这 意味 着 ， 在 任何 时 候 ， 系 统 可 能 会 不 一 致 ， 但 是 大 体 上 数据 仍 是 准 
































有 有 














外 的 。 








册 














互联 网 域名 服务 (Domain Name Service，DNS) 是 最 终 一 致 性 的 一 个 典型 例子 。 你 注 

















一 个 域名 , 可 能 需要 几 天 时 间 传 播 到 在 互联 网 上 的 所 有 DNS 服务 器 。 但 是 没有 任何 时 候 























任何 特定 的 DNS 服务 器 是 不 可 用 的 (假设 你 可 以 连接 到 它 ， 那 它 就 是 可 用 的 )。 











B.2 实际 中 的 CAP 


一 些 分 区 容错 的 数据 库 可 以 调整 为 对 每 个 请 求 或 多 或 少 一 致 或 可 用 。Riak 的 运行 就 像 




















这 样 ， 允 许 客户 端 在 请 求 时 决定 它们 需要 什么 程度 的 一 致 性 。 本 书 中 的 其 他 数据 库 在 很 大 
































程度 上 占据 了 CAP 权衡 三 角形 的 某 一 个 角 。 





CAP 冒险 ， 第 二 部 分 ， 最 终 一 致 性 

让 我 们 回 到 两 年 前 ，2009 年 。 在 这 个 时 间 点 上 ， 你 已 经 在 岛 上 待 了 三 年 ， 你 在 沙子 中 发 
现 了 一 个 瓶子 ， 这 是 与 外 界 的 宝贵 接触 。 你 拔 去 瓶 塞 ， 欢 欣 鼓 攻 ! 你 刚刚 获得 一 项 完整 
的 知识 ………， 


B.3 延迟 权衡 309 


碧 昂 丝 录音 专辑 的 数量 对 世界 的 总 知识 是 至 关 重 要 的 。 它 是 如 此 重要 ， 事 实 上 ， 她 每 次 
发 行 新 专辑 ， 就 有 人 在 纸 上 写 上 当前 日 期 和 数量 。 他 们 把 这 张 纸 放 到 一 个 瓶子 里 ， 并 把 
它 扔 到 海里 。 如 果 有 人 ， 像 你 自己 一 样 ， 在 一 个 荒 岛 上 与 世 隔绝 ， 他 们 最 终 能 得 到 正确 
的 答案 。 


向 前 跳 转 到 现在 。 当 船长 问 你 :“ 碧 昂 丝 有 多 少 张 录音 专辑 ” ”你 仍然 可 用 并 回答 :“ 三 
张 .” 你 可 能 与 世界 其 他 地 方 是 不 一 致 的 ， 但 在 尚未 收 到 另 一 个 瓶子 之 前 ， 你 对 你 的 答 
案 相 当 肯 定 


故事 的 结局 是 ， 船 长 救 了 你 ， 你 回 到 了 家 ， 发 现 了 碧 昂 丝 的 新 专辑 ， 并 从 此 过 上 了 幸福 的 
生活 。 只 要 你 留 在 陆地 上 ， 你 不 需要 分 区 容错 ， 并 能 保持 一 致 性 和 可 用 性 ， 直 到 你 的 生命 
结束 。 


Redis、PostgreSQL 和 Neo4j 是 一 致 的 和 可 用 的 (CA); 它们 不 分 布 数据 ， 因 此 分 区 不 





是 一 个 问题 (虽然 可 以 说 ，CAP 在 非 分 布 式 系 统 中 并 没有 多 大 意义 )。MongoDB 和 HBase 
一 般 是 一 致 的 和 分 区 容错 的 (CP)。 在 网 络 分 区 的 情况 下 ， 它 们 可 能 无 法 回应 特定 类 型 的 


查询 例如， 在 Mongo 副本 



































Nl 

















设置 标记 slaveok 为 false， 用 于 读 取 )。 在 实践 中 ， 完 善 


























地 处 理 便 件 故障 一 一 其 他 仍然 联网 的 节点 可 以 为 穷 机 的 服务 器 提供 后 备 文 持 一 一 但 是 严格 
说 来 ， 在 CAP 定理 的 意义 中 ， 它 们 是 不 可 用 的 。 最 后 ， 即 使 两 个 或 更 多 的 CouchDB 服务 
器 可 以 在 它们 之 间 复 制 数据 ，CouchDB 不 保证 任意 两 个 服务 器 之 间 的 一 致 性 。 






























































值得 注意 的 是 ， 这 些 数据 库 中 的 大 部 分 可 以 通过 配置 改变 其 CAP 类 型 (Mongo 可 以 





























是 CA，CouchDB 可 以 是 CP)， 但 在 这 里 ， 我 们 已 经 注意 到 它们 的 默认 或 通常 行为 。 


B.3 ”延迟 权衡 





然而 ， 分 布 式 数据 库 系 统 的 设计 不 仅仅 需要 CAP。 例 如 ， 低 延迟 〈 速 度 ) 是 许多 架构 




















师 的 主要 关注 。 如 果 你 读 过 亚马逊 的 Dynamo ' 论文， 你 会 注意 到 很 多 关于 可 用 性 和 亚马逊 
的 延迟 要 求 的 讨论 。 对 于 特定 类 型 的 应 用 ， 即 便 是 很 小 的 延迟 变化 也 可 能 转化 为 一 个 大 的 


成 本 。 著 名 的 例子 是 ， 雅 虎 的 PNUTS 数 据 库 放弃 了 正常 运行 的 可 用 性 和 分 区 上 的 一 致 性 ， 




























































































从 而 在 设计 上 挤 压 出 低 延 迟 *。 重 要 的 是 ,在 与 分 布 式 数据 库 打交道 时 要 考虑 CAP， 但 同样 














日 








重要 的 是 要 知道 ， 分 布 式 数据 库 理 论 并 不 止 于 此 。 


! http:/allthingsdistributed.comyfiles/amazon-dynamo-sosp2007.pdf。 
”http:/dbmsmusings.blogspot.com/2010/04/problems-with-cap-and-yahoos-little.html。 


习作 Seven Databases 
六 in Seven Weeks 
A Guide to Modern Databases and the NoSQL Movement 


如 今 ， 我 们 要 面 对 和 使 用 的 数据 正在 变 得 越 来 越 庞 大 、 越 来 越 复 杂 。 如 果 说 数据 是 新 的 石油 ， 那 么 数据 
车 就 是 油田 、 炼 油 厂 、 钻 井 和 油泵 。 作 为 一 名 现代 的 软件 开发 者 ， 我 们 需要 了 解数 据 管理 的 新 领域 ， 既 包括 
RDBMS ， 也 包括 NoSQL 。 













































































































































































本 书 遵 





= 





看 《 七 周 七 语言 》 的 写作 风格 和 体例 ， 带 领 你 学 习 和 了 解 当今 最 热门 的 开源 数据 库 。 



































本 书 涉及 如 下 7 种 数据 库 。 它 们 分 别 代 表 了 5 种 数据 模型 ， 而 且 就 像 是 数据 库 世界 里 的 7 种 工具 和 “武器 ”: 
锤子 ”PostgreSQL (关系 型 ) ; 
QQ“ 钢筋 ”Riak ( 键 - 值 型 ) ; 



























































QQ“ 射 杀 枪 ”HBase ( 列 型 ) ; 

















“电钻 ”MongoDB (文档 型 ) ; 
“扳手 ”CouchDB (文档 型 ) ; 








2 








“蹦极 强 ”Neo4j ( 图 型 ) ; 























O “润滑 油 ”Redis ( 键 - 值 型 ) 。 






































本 书 不 是 简单 介绍 每 种 技术 ， 而 是 探讨 了 每 种 技术 的 核心 基本 概念 。 本 书 将 带 你 深入 每 种 数据 库 ， 了 解 它 
们 的 长 处 与 不 足 ， 了 解 为 了 满足 你 自己 的 需求 如 何 做 出 选择 。 通 过 本 书 ， 你 将 掌握 这 7 种 武器 ， 从 而 能 够 处 理 
具 。 


真实 世界 的 问题 ， 深刻 了 解 哪 种 问题 最 适合 哪 种 类 型 的 工 上 
| | ‖ | / 
9 178711 山 
































































































































和 外 封面 设计 : 任 文 杰 


分 类 建议 : 计算 机 / 数据库 
人 民 邮 电 出 版 社 网 址 : www.ptpress.com.cn 

















欢迎 加 入 


图 灵 社 区 


最 前 沿 的 T 类 电子 书 发 售 平台 







































































































































































































































































































































































































































































































































































































































































































































































































































































































































































有 子 出 版 的 时 代 已 经 来 临 。 在 许多 出 版 界 同行 还 在 犹 图 灵 社 区 进一步 把 传统 出 版 流程 与 电子 书 出 版 业务 

殉 往 得 的 时 候 ， 图 灵 社 区 已 经 采取 实际 行动 拥抱 这 个 紧密 结合 ， 目 前 已 实现 作 译 者 网 上 交 稿 、 编 辑 网 上 

出 版 业 巨变 。 作 为 国内 第 一 家 发 售 电子 图 书 的 IT 类 出 f 稿 、 按 章 发 布 的 电子 出 版 模式 。 这 种 新 的 出 版 模 

版 商 ， 图 灵 社 区 目前 为 读者 提供 两 种 DRM-free 的 阅读 式 ， 我 们 称 之 为 “人 敏捷 出 版 ”， 它 可 以 让 读者 以 较 

体验 : 在 线 阅读 和 PDF。 快 的 速度 了 解 到 国外 最 新 技术 图 书 的 内 容 ， 弥 补 以 

和 往 翻译 版 技术 书 “ 出 版 即 过 时 ”的 缺憾 。 同 时 ， 敏 
OR GA 患 出 版 使 得 作 、 译 、 编 、 读 的 交流 更 为 方便 ， 可 以 

快 ， 更 新 容易 ， 而 且 尽 可 能 采用 了 彩色 图 片 《 即 使 。 ”提前 消灭 书稿 中 的 错误 ， 最 大 程度 地 保证 图 书 出 版 

有 的 书 纸 质 版 是 黑白 印刷 的 ) 。 读 者 还 可 以 方便 地 进 的 质量 。 

行 搜索 、 剪 贴 、 复 制 和 打印 。 

最 方便 的 开放 出 版 平台 最 直接 的 读者 交流 平台 

图 灵 社 区 向 读者 开放 在 线 写作 功能 ， 协 助 你 实现 自 出 在 图 灵 社 区 ， 你 可 以 十 分 方便 地 写作 文章 、 提 交 昌 

版 和 开源 出 版 的 梦想 。 利 用 “合集 ”功能 ， 你 就 能 联 误 、 发 表 评论 ， 以 各 种 方式 与 作 译 者 、 编 辑 人 员 和 

合 二 三 好 友 共 同 创作 一 部 技术 参考 书 ， 以 免费 或 收费 其 他 读者 进行 交流 互动 。 提 交 勘 误 还 能 够 获 赠 社区 

的 形式 提供 给 读者 。 (收费 形式 须 经 过 图 灵 社 区 立项 银子 。 

评审 。) 这 极 大 地 降低 了 出 版 的 门槛 。 只 要 你 有 写作 

的 意愿 ， 图 灵 社 区 就 能 帮助 你 实现 这 个 梦想 。 成 熟 的 你 可 以 积极 参与 社区 经 党 开展 的 访谈 、 审 读 、 评 先 

书稿 ， 有 机 会 入 选 出 版 计划 ， 同 时 出 版 纸 质 书 。 等 多 种 活动 ， 赢 取 积 分 和 银子 ， 积 累 个 人 声望 。 

图 灵 社 区 引进 出 版 的 外 文 图 书 ， 都 将 在 立项 后 马上 在 

社区 公布 。 如 果 你 有 意 翻 译 哪 本 图 书 ， 欢 迎 你 来 社 

请 。 只 要 你 通过 试 译 的 考验 ， 即 可 签约 成 为 攻 






























































译 者 。 当 然 ， 要 想 成 功 地 完成 一 本 书 的 翻译 工作 ， 
需要 有 坚强 的 角力 的 。 























